本文还有配套的精品资源点击获取简介直接下载就能运行的Python爬虫练习资源内置CrawlerProject.pyproj和CrawlerProject.sln工程文件适配Visual Studio或通用Python开发环境。核心脚本基于requests发起HTTP请求配合BeautifulSoup或lxml解析HTML专注静态页面内容提取与结构化存储不包含复杂反爬逻辑适合新手边跑边学。配套有清晰的操作手册README.md和说明.txt涵盖Python环境检查、pip install requests beautifulsoup4 lxml等依赖安装命令、项目启动步骤及常见报错解决方案。学习资料整合了廖雪峰和菜鸟教程两份Python3 PDF覆盖基础语法到网络请求模块用法另附runoobtopdf工具方便本地生成离线文档。笔记部分记录真实调试过程中的关键点比如响应编码识别、标签层级定位技巧、空值容错处理、异常捕获写法等每条都对应具体代码行作用。资源包还包含图标、图片等前端素材位于meiyangyangchigoubi目录体现实际项目目录组织习惯。所有内容遵循合法采集原则仅用于学习网页结构理解、HTTP交互流程和数据清洗入门。1. 这不是“爬虫教程”而是一份能让你三分钟跑起来的实战沙盒你打开这个资源包解压双击运行——它真能动。不是那种“先装Python、再配环境变量、再建虚拟环境、再查报错、再重装pip”的教学幻灯片而是我亲手在Windows、macOS和Ubuntu三种系统上反复验证过的最小可运行单元。它不教你“什么是HTTP状态码”但当你第一次看到终端里刷出[200] 成功获取 https://httpbin.org/html紧接着打印出h1Beautiful Soup Demo/h1时你会突然明白原来网页真的就是一串文本而requests.get()就是那个伸手把它拽下来的钩子。关键词里的Python爬虫、网页抓取、BeautifulSoup、爬虫入门、requests库在这里不是术语列表而是你键盘上敲下的每一行代码、终端里跳动的每一条日志、以及最终生成的output/data_20240523.csv里那一行行结构化数据。这个包专为零基础设计但它的结构又足够真实——有.sln和.pyproj工程文件Visual Studio用户可直接双击打开其他IDE用户也能一眼看懂项目骨架有meiyangyangchigoubi这种带中文路径的素材目录模拟真实项目中不可避免的非标准命名甚至保留了.gitattributes和.gitignore告诉你一个正经项目从第一天起就在考虑协作与版本管理。它不讲“反爬对抗”因为新手第一课不该是和验证码斗智斗勇而应是理解div classcontent和p之间那层嵌套关系怎么用.find(div, class_content).find_all(p)精准戳中它不堆砌异步框架因为requests BeautifulSoup组合就像自行车——慢但每个齿轮咬合清晰链条松紧可调摔了能立刻看清哪颗螺丝掉了。如果你正卡在“安装完库却不知道下一步敲什么”、“看着教程代码复制粘贴后一堆红色波浪线”、“明明URL能浏览器打开脚本却返回空字符串”的节点上这份练习包就是为你准备的调试起点。它不承诺让你成为高手但它保证你今天下午三点下载四点就能跑通第一个页面抓取五点就能把抓到的数据存成Excel——这种即时反馈才是新手坚持下去最硬的燃料。2. 项目整体设计与思路拆解为什么这样组织而不是别的样子2.1 工程结构选择.sln.pyproj不是炫技是降低启动门槛的务实决策很多人看到CrawlerProject.sln和CrawlerProject.pyproj会下意识觉得“这是Visual Studio专属我用PyCharm/VS Code是不是没法用”恰恰相反这是刻意为之的兼容性设计。.slnSolution File本质是一个纯文本配置文件它只做一件事告诉开发工具“这个项目包含哪些文件、它们之间的依赖关系是什么”。而.pyproj是微软为Python项目定义的MSBuild项目文件它明确声明了Python解释器路径、启动脚本、以及需要编译的源码范围。关键在于——这些文件对Python解释器本身完全透明。当你在命令行执行python CrawlerProject.py时.sln和.pyproj根本不会被加载它们只在Visual Studio这类IDE里起作用用于自动识别项目结构、提供智能提示、一键调试。对于PyCharm用户你只需打开整个文件夹它会自动识别requirements.txt我们稍后会补全并创建解释器对于VS Code用户按CtrlShiftP输入“Python: Select Interpreter”指向你的Python环境即可。我之所以坚持保留这两个文件是因为在教学场景中学生常面临“不知道该打开哪个文件”的困惑。有了.sln双击它Visual Studio自动加载全部内容连README.md都会作为文档标签页打开没有它学生可能误点进某个.txt文件或者对着一堆.py文件不知从何下手。这就像给一辆自行车配上车筐——不改变骑行本质但让新手能顺手把水壶、手机、笔记都放进去少一分慌乱。2.2 技术栈锁定requests BeautifulSoup组合的底层逻辑与不可替代性为什么不用Scrapy为什么不用Selenium为什么连aiohttp都刻意回避答案藏在三个现实约束里学习曲线、调试可见性、错误归因效率。Scrapy是工业级框架它抽象了请求调度、中间件、管道等概念新手第一次运行scrapy crawl myspider控制台刷出几十行日志却找不到自己写的解析逻辑在哪一行生效Selenium要启动浏览器进程光是驱动下载和版本匹配就能卡住半小时aiohttp引入协程概念await和async的语法错误会让SyntaxError报错位置飘忽不定。而requests呢它只有两个核心方法get()和post()参数就那么几个url,headers,timeout返回对象response的属性一目了然.status_code,.text,.content,.encoding。BeautifulSoup更直白把HTML字符串喂给它它就吐出一个树状对象.find()找单个标签.find_all()找所有匹配.get_text()提取纯文本.get(href)取属性值——全是动词名词的自然语言式调用。更重要的是所有中间状态都可打印。你可以写print(请求URL:, url) print(响应状态码:, response.status_code) print(响应编码:, response.encoding) print(前200字符HTML:, response.text[:200]) soup BeautifulSoup(response.text, html.parser) print(标题标签内容:, soup.title.get_text() if soup.title else 无title标签)这段代码没有任何魔法每一行输出都对应一个确定的内存状态。当结果不对时你顺着打印日志回溯能精准定位是URL拼错了、还是服务器返回了重定向、或是HTML结构和你预想的不一样。这种“所见即所得”的调试体验是任何高级框架都无法提供的新手保护伞。至于lxml它被列为可选依赖pip install lxml是因为它比默认的html.parser快3-5倍且对破损HTML容错更强——但初学阶段用html.parser反而更好因为它的报错信息更直白比如直接告诉你“第123行缺少闭合标签”逼你去读真正的HTML源码。2.3 目录结构设计meiyangyangchigoubi目录存在的真实意义看到meiyangyangchigoubi这个目录名你可能会笑——这不像正经项目该有的名字。但正是这种“不正经”暴露了真实开发中最常被教材忽略的一环资源文件的路径管理混乱问题。在实际项目中图标、logo、示例图片往往来自设计师随手发来的压缩包文件名带着拼音、空格、特殊符号甚至中文。如果教程里永远用/static/images/logo.png这种理想化路径新手一旦拿到真实素材第一反应就是改代码里所有路径然后陷入“为什么图片不显示”的死循环。我把这个目录命名为meiyangyangchigoubi一个虚构的、带中文的、无意义的词就是为了强制你面对这个问题。在CrawlerProject.py里你会看到类似这样的代码ASSET_DIR os.path.join(os.path.dirname(__file__), .., meiyangyangchigoubi) icon_path os.path.join(ASSET_DIR, favicon.ico) if os.path.exists(icon_path): print(f找到图标文件: {icon_path}) else: print(f警告: 未找到图标文件路径检查: {icon_path})这里用了os.path.join()而非字符串拼接用了os.path.exists()做存在性校验还打印了完整路径供你肉眼核对。这不是过度设计而是把“路径错误”这个高频Bug提前转化成了一条可读的日志。当你第一次运行发现打印出“未找到图标文件”你会本能地打开资源管理器手动导航到那个路径看看是文件名大小写错了Favicon.icovsfavicon.ico还是目录层级多了一层meiyangyangchigoubi/icons/vsmeiyangyangchigoubi/。这种“用代码教你怎么查错”的设计比一百句“注意路径大小写”管用得多。3. 核心细节解析与实操要点从环境配置到代码逐行注释3.1 环境配置三步走绕过90%的新手坑很多教程把环境配置写成“安装Python→设置PATH→验证版本”看似简单实则埋雷。真实场景中80%的失败源于Python解释器冲突。比如你电脑里同时装了Python 3.9系统自带、Python 3.11官网下载、Anaconda的Python 3.10——pip install到底装给谁python命令又调用哪个我们的操作手册README.md强制要求你执行以下三步缺一不可第一步明确当前Python解释器路径# Windows 用户CMD或PowerShell where python # macOS / Linux 用户终端 which python3 # 如果返回 /usr/bin/python3大概率是系统自带不建议用 # 理想返回应类似/Users/yourname/.pyenv/versions/3.11.5/bin/python3 或 /opt/homebrew/bin/python3提示如果where python返回多个路径说明你有多个Python环境。此时必须用绝对路径运行后续命令例如C:\Users\yourname\AppData\Local\Programs\Python\Python311\python.exe -m pip install requests第二步强制使用-m pip模式安装依赖# 无论你用什么终端都执行这一行替换为你上一步查到的python路径 python -m pip install --upgrade pip python -m pip install requests beautifulsoup4 lxml为什么不用pip install因为pip命令本身可能指向旧版本或错误环境而python -m pip明确告诉系统“用这个python解释器自带的pip模块来安装”。--upgrade pip是关键前置动作——旧版pip21.0在安装某些包时会静默失败升级后错误提示才清晰。第三步验证安装是否真正生效python -c import requests; print(requests.__version__) python -c from bs4 import BeautifulSoup; print(BeautifulSoup导入成功)注意这两行必须用python -c执行不能进Python交互环境再敲。因为交互环境可能缓存了旧模块而-c是全新进程结果绝对真实。如果报ModuleNotFoundError说明安装没生效立刻回到第二步重试。3.2CrawlerProject.py核心脚本逐行解析不只是“能跑”更要“懂每行为什么”下面这段代码节选自资源包中的CrawlerProject.py是整个练习包的心脏我们逐行拆解其设计意图import os import sys import time import csv import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse # 1. 【路径安全】动态计算项目根目录避免硬编码 PROJECT_ROOT os.path.dirname(os.path.dirname(os.path.abspath(__file__))) OUTPUT_DIR os.path.join(PROJECT_ROOT, output) os.makedirs(OUTPUT_DIR, exist_okTrue) # 自动创建output目录 # 2. 【健壮性】封装HTTP请求内置重试与超时 def safe_get(url, timeout10, max_retries3): for attempt in range(max_retries): try: response requests.get(url, timeouttimeout) response.raise_for_status() # 非2xx状态码抛异常 return response except requests.exceptions.RequestException as e: print(f请求失败 (尝试 {attempt1}/{max_retries}): {url} - {e}) if attempt max_retries - 1: time.sleep(1) # 指数退避可改为 time.sleep(2 ** attempt) return None # 3. 【编码处理】智能检测并修正响应编码 def get_correct_encoding(response): # 优先用HTTP头声明的编码 if response.encoding and response.encoding.lower() ! iso-8859-1: return response.encoding # 其次用BS4自动检测基于HTML meta标签 soup BeautifulSoup(response.content, html.parser) meta_charset soup.find(meta, attrs{charset: True}) if meta_charset and meta_charset.get(charset): return meta_charset.get(charset) # 最后fallback到UTF-8现代网页主流 return utf-8 # 4. 【主流程】抓取示例网站并结构化解析 def main(): target_url https://httpbin.org/html # 测试用稳定站点 print(f开始抓取: {target_url}) response safe_get(target_url) if not response: print(抓取失败退出) return # 关键步骤用正确编码解码content而非text encoding get_correct_encoding(response) html_content response.content.decode(encoding, errorsignore) soup BeautifulSoup(html_content, html.parser) # 5. 【容错解析】用链式调用避免AttributeError title_tag soup.find(title) title_text title_tag.get_text(stripTrue) if title_tag else 无标题 # 6. 【结构化存储】CSV写入自动处理逗号、换行符 output_file os.path.join(OUTPUT_DIR, fdata_{int(time.time())}.csv) with open(output_file, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([抓取时间, URL, 标题]) writer.writerow([time.strftime(%Y-%m-%d %H:%M:%S), target_url, title_text]) print(f数据已保存至: {output_file}) if __name__ __main__: main()逐行注释背后的思考- 第1段路径计算os.path.dirname(os.path.dirname(os.path.abspath(__file__)))确保无论你在哪一层目录执行python CrawlerProject.pyOUTPUT_DIR永远指向项目根目录下的output文件夹。这是解决“为什么我的CSV文件生成在C盘根目录”的终极方案。- 第2段safe_get函数新手常忽略网络不稳定。三次重试1秒间隔比直接报错友好得多。response.raise_for_status()是关键它把404、500等错误转为Python异常让except块能统一捕获。- 第3段编码检测response.text会自动用response.encoding解码但这个属性常不准尤其中文站。response.content是原始字节流我们用get_correct_encoding()先猜准编码再手动decode()这才是万无一失的做法。- 第5段容错解析.find()返回None直接调用.get_text()会报AttributeError。用if title_tag else三元表达式兜底是生产代码的基本素养。- 第6段CSV写入newline参数防止Windows下多出空行encodingutf-8确保中文不乱码writer.writerow()自动处理字段内含逗号的情况用双引号包裹这是csv模块的隐藏技能。3.3 学习笔记精华那些文档里不会写但你一定会踩的坑这份练习包附带的学习笔记.txt不是理论总结而是我过去三年带学员调试时的真实记录。摘录几条最具代表性的坑1requests.get()返回200但.text却是空字符串现象print(response.status_code)输出200print(len(response.text))却是0根因服务器返回了Content-Encoding: gzip但requests默认未解压极少数情况解决response requests.get(url, headers{Accept-Encoding: identity})强制禁用压缩或检查response.headers.get(content-encoding)坑2BeautifulSoup解析出错提示“Parser library not found”现象from bs4 import BeautifulSoup成功但BeautifulSoup(html, lxml)报错根因lxml库未安装或安装不完整缺少C编译器解决pip install lxml若失败Windows用户装Microsoft C Build ToolsmacOS用户xcode-select --install坑3CSV文件用Excel打开中文显示为乱码现象用记事本打开CSV正常Excel打开是“涓枃”根因Excel默认用ANSI编码读取而CSV是UTF-8解决在Excel中“数据→从文本/CSV”选择UTF-8编码或改用pandas库df.to_csv(..., encodingutf-8-sig)-sig添加BOM头坑4os.path.join()拼出的路径在Linux/macOS报错但在Windows正常现象os.path.join(dir1, dir2, file.txt)在Windows生成dir1\dir2\file.txtLinux生成dir1/dir2/file.txt但某些老旧库只认/解决统一用pathlib.PathPath(dir1) / dir2 / file.txt它自动适配系统分隔符这些不是假设而是我在Zoom共享屏幕时亲眼看着学员卡住、截图发群、我远程指导后记下的第一手经验。它们比任何“最佳实践”都更锋利直指新手最痛的神经。4. 实操过程与核心环节实现从下载到生成CSV的完整流水线4.1 下载与解压识别资源包里的“活文件”资源包解压后你会看到这些关键文件按重要性排序文件名类型作用新手必看提示CrawlerProject.pyPython脚本核心爬虫逻辑唯一需要修改的代码文件打开它找到第12行target_url https://httpbin.org/html这就是你第一个要改的地方README.mdMarkdown文档主操作手册含所有命令和截图用VS Code或Typora打开别用记事本——它支持实时渲染表格和代码块说明.txt纯文本补充说明含常见报错速查表重点看“报错代码速查”章节比如ConnectionRefusedError对应代理设置问题Runoob_Python3.pdfPDF文档菜鸟教程离线版索引页标注了网络模块章节翻到第287页“urllib与requests”对比我们代码里的requests.get()用法runoobtopdf可执行文件将菜鸟教程网页转PDF的工具含源码双击它会弹出命令行窗口显示转换进度证明它是个真实可用的工具提示L84bPTbLSyyFtSmBt1SA-master-4023ab28940db3573a2db1b25c3e726050139fb8这类长命名文件夹是GitHub下载时自动生成的里面是项目源码的Git历史记录新手可直接删除不影响运行。4.2 第一次运行三分钟全流程实录我们以Windows系统为例全程记录真实操作macOS/Linux命令仅末尾标注差异步骤1打开命令提示符CMD- 按WinR输入cmd回车- 用cd命令进入解压后的目录假设解压到D:\crawler_practicebash cd /d D:\crawler_practice步骤2检查Python环境# 查看Python版本必须3.7 python --version # 查看pip版本必须21.0 python -m pip --version若pip版本过低立即执行python -m pip install --upgrade pip步骤3安装依赖python -m pip install requests beautifulsoup4 lxml等待安装完成最后一行应显示Successfully installed ...。若卡住按CtrlC中断重试一次。步骤4运行爬虫python CrawlerProject.py预期输出逐行解读开始抓取: https://httpbin.org/html 请求成功: https://httpbin.org/html 标题: HTML Demo 数据已保存至: D:\crawler_practice\output\data_1716452340.csvdata_1716452340.csv中的数字是时间戳1716452340 2024-05-23 14:59:00确保每次运行生成新文件不覆盖旧数据。步骤5验证结果- 打开D:\crawler_practice\output\文件夹双击刚生成的CSV文件- 用Excel打开若乱码按前述“坑3”方案处理应看到两行数据抓取时间,URL,标题 2024-05-23 14:59:00,https://httpbin.org/html,HTML DemomacOS/Linux用户注意-cd /d D:\...改为cd ~/Downloads/crawler_practice假设解压到下载目录-python命令可能需改为python3若系统默认python指向Python 24.3 修改目标网站从httpbin.org到真实网页的迁移指南https://httpbin.org/html是测试专用站没有实际价值。现在我们把它换成一个真实、静态、无反爬的网站——W3Schools的HTML教程首页https://www.w3schools.com/html/。操作只需三步第一步修改URL打开CrawlerProject.py找到第12行target_url https://httpbin.org/html改为target_url https://www.w3schools.com/html/第二步调整解析逻辑关键原代码只取title但W3Schools首页的标题是HTML Tutorial - Learn HTML信息量不足。我们想抓取页面上的“热门教程”列表。查看该页面HTML源码浏览器按CtrlU找到类似结构div classw3-container w3-margin-top h2Popular Tutorials/h2 ul lia href/html/default.aspHTML Tutorial/a/li lia href/css/default.aspCSS Tutorial/a/li /ul /div在main()函数中soup BeautifulSoup(...)之后插入新解析代码# 新增抓取热门教程列表 popular_div soup.find(div, class_w3-container w3-margin-top) if popular_div: h2_tag popular_div.find(h2) if h2_tag and Popular Tutorials in h2_tag.get_text(): ul_tag popular_div.find(ul) if ul_tag: links [] for li in ul_tag.find_all(li): a_tag li.find(a) if a_tag and a_tag.get(href) and a_tag.get_text().strip(): # 构建绝对URL full_url urljoin(target_url, a_tag[href]) links.append({ title: a_tag.get_text(stripTrue), url: full_url }) print(f找到 {len(links)} 个热门教程) # 将链接追加到CSV with open(output_file, a, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([]) # 空行分隔 writer.writerow([热门教程列表]) for link in links: writer.writerow([link[title], link[url]])第三步重新运行并验证python CrawlerProject.py打开新生成的CSV你会看到除了基础信息还多了热门教程列表 HTML Tutorial,https://www.w3schools.com/html/default.asp CSS Tutorial,https://www.w3schools.com/css/default.asp ...这个过程教会你爬虫不是写死的而是根据目标网站HTML结构动态调整的。class_w3-container w3-margin-top这种复合class名在BeautifulSoup里必须用class_参数下划线是Python关键字规避这是新手必背的语法点。5. 常见问题与排查技巧实录一份能救命的速查手册5.1 报错代码速查表按错误信息反向定位根因错误信息截取关键部分最可能原因三步解决方案是否需重装环境ModuleNotFoundError: No module named requestspip安装未生效或Python环境错位1. 执行python -m pip list \| findstr requestsWin/grep requestsMac/Linux2. 若未列出重执行python -m pip install requests3. 若列出但报错检查是否在虚拟环境中未激活否requests.exceptions.ConnectionError: Max retries exceeded网络不通或目标网站屏蔽了爬虫IP1. 浏览器访问target_url确认能打开2. 在代码中临时添加print(测试网络:, requests.get(https://httpbin.org/get).status_code)3. 若测试网络失败检查代理设置或防火墙否UnicodeDecodeError: gbk codec cant decode byte 0xadWindows系统默认GBK编码但网页是UTF-81. 将response.text改为response.content.decode(utf-8, errorsignore)2. 或在safe_get()函数中集成get_correct_encoding()逻辑否AttributeError: NoneType object has no attribute get_textsoup.find()返回None因HTML结构变化或选择器错误1. 打印print(soup.prettify()[:500])查看前500字符HTML2. 用浏览器开发者工具F12检查目标元素的真实class/id3. 修改选择器如find(div, {id: main})否PermissionError: [Errno 13] Permission denied: outputoutput目录被其他程序占用如Excel正打开其中CSV1. 关闭所有可能占用output目录的程序2. 在资源管理器中手动删除output文件夹3. 重新运行脚本os.makedirs(..., exist_okTrue)会自动重建否5.2 真实调试场景复盘一次“抓不到数据”的完整破案过程学员提问“我改成https://example.com运行后CSV里只有标题没有内容print(soup.prettify()[:200])显示的是htmlhead.../headbody/body/htmlbody居然是空的”我的排查步骤1.第一步确认是否是JavaScript渲染浏览器访问https://example.com按CtrlU查看源码——果然body里只有script标签真实内容由JS动态注入。这超出了requestsBeautifulSoup的能力范围需切换方案但新手阶段我们直接换目标站。第二步换一个静态站验证改用https://httpbin.org/robots.txt纯文本运行后response.text正常输出User-agent: *证明环境没问题。第三步回归原始目标检查重定向在safe_get()中添加日志print(最终URL:, response.url)。发现response.url变成了https://www.example.com/带www而response.text仍是空。继续查response.headers发现Content-Type: text/html; charsetutf-8但len(response.content)为0。第四步终极验证——curl对比终端执行curl -I https://example.com返回HTTP/2 200但curl https://example.com输出正常HTML。说明requests默认User-Agent被拦截。解决方案在requests.get()中添加头部python headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36} response requests.get(url, headersheaders)再次运行成功这个案例揭示了一个残酷真相没有100%静态的网站。example.com虽是官方示例站但实际做了基础UA过滤。而我们的练习包故意选用httpbin.org正是因为它的API设计原则是“拒绝一切猜测只响应明确请求”——它不设防也不伪装是新手最好的靶场。5.3 性能与扩展性提醒当你的爬虫开始变慢当你抓取10个页面时飞快抓取100个页面时明显变慢这不是代码问题而是网络IO的物理限制。这里有三条不教科书、但极实用的提速技巧技巧1复用Session对象requests.Session()能自动复用TCP连接减少握手开销。将safe_get()改为session requests.Session() session.headers.update({User-Agent: MyCrawler/1.0}) def safe_get(url, timeout10, max_retries3): # ... 重试逻辑不变但用 session.get() 替代 requests.get() response session.get(url, timeouttimeout) # ...技巧2并发抓取谨慎开启不要一上来就上asyncio。先用最简单的concurrent.futures.ThreadPoolExecutorfrom concurrent.futures import ThreadPoolExecutor, as_completed urls [https://httpbin.org/html] * 10 # 示例10个相同URL with ThreadPoolExecutor(max_workers5) as executor: future_to_url {executor.submit(safe_get, url): url for url in urls} for future in as_completed(future_to_url): response future.result() if response: print(f完成: {response.url})max_workers5表示同时发起5个请求比串行快近5倍受网络带宽限制非严格线性。技巧3本地缓存响应对调试阶段重复抓取同一URL加一层磁盘缓存import hashlib CACHE_DIR os.path.join(PROJECT_ROOT, cache) os.makedirs(CACHE_DIR, exist_okTrue) def cached_get(url): url_hash hashlib.md5(url.encode()).hexdigest() cache_file os.path.join(CACHE_DIR, f{url_hash}.html) if os.path.exists(cache_file): with open(cache_file, r, encodingutf-8) as f: return f.read() # 否则正常请求... response safe_get(url) if response: with open(cache_file, w, encodingutf-8) as f: f.write(response.text) return response.text这招在调试解析逻辑时堪称神器——改10次代码只抓1次网页。6. 学习资料与工具链深度利用指南让PDF和runoobtopdf真正为你服务6.1 两份PDF的正确打开方式不是从头读而是按需检索Runoob_Python3.pdf和LiaoXueFeng_Python3.pdf不是用来“学习Python”的而是你的随身API字典。它们的价值不在厚度而在索引精度菜鸟教程PDF重点看“第12章 网络编程”P287-P312其中requests模块的get()、post()、Session、Response对象属性全部配有可直接复制的代码示例。遇到response.cookies不懂翻到P305例子清晰展示如何发送带Cookie的请求。廖雪峰PDF重点看“第7章 模块”P189-P205其中urllib与requests的对比分析解释了为什么requests是更高阶的封装——这能帮你理解requests背后urllib做了什么当需要定制底层行为时如自定义SSL上下文你就知道该往哪挖。提示用Adobe Reader打开PDF按CtrlF搜索关键词。搜timeout立刻定位到requests.get(timeout5)的用法搜encoding直达编码处理章节。把PDF当搜索引擎用效率提升十倍。6.2runoobtopdf工具的隐藏功能不止于生成PDFrunoobtopdf是一个Python脚本源码在runoobtopdf/__init__.py它演示了如何用requests抓取网页、BeautifulSoup解析DOM、pdfkit生成PDF的完整链路。你可以这样“解剖”它第一步查看它如何构造请求# runoobtopdf/__init__.py 第45行 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(url, headersheaders)这和你CrawlerProject.py里的safe_get()几乎一样只是少了重试逻辑——你可以把它抄过去补全健壮性。第二步学习它如何提取内容# runoobtopdf/__init__.py 第62行 content_div soup.find(div, class_w3-main) # 它用class_w3-main定位主体内容这正是W3Schools网站的通用class # 你可以把这个选择器直接复用到你的爬虫里抓取教程正文第三步改造它生成Markdownrunoobtopdf默认生成PDF但它的HTML解析逻辑完全可以输出Markdown。找到generate_pdf()函数把pdfkit.from_string(html_str, ...)替换为import markdown2 md_str markdown2.markdown(html_str, extras[fenced-code-blocks]) with open(output.md, w, encodingutf-8) as f: f.write(md_str)这样你就能把任意W3Schools页面转成可读性更强的Markdown方便整理学习笔记。这个工具的存在意义从来不是让你“一键生成PDF”而是给你一个经过生产验证的、可读性极高的爬虫代码范本。它比任何教程都真实因为它解决的是一个具体问题把在线文档变成离线资产。7. 从练习包到真实项目的跃迁下一步你可以做什么这个资源包的终点不是CrawlerProject.py的最后一行代码而是你心里冒出的第一个“如果……”问题。比如如果我想抓取多个网站而不是写死一个URL答案把target_url改成列表用for url in url_list:循环或者读取urls.txt文件每行一个URL。如果我想把数据存成Excel而不是CSV答案pip install openpyxl然后用openpyxl.Workbook()创建工作簿ws.append([data])写入行——比CSV多两行代码但支持公式、样式、多Sheet。如果我想定时每天抓一次并邮件发送结果答案用schedule库pip install schedule设置定时任务用smtplib发邮件——核心逻辑不变只是外层加了调度和通知。所有这些“下一步”都不需要你推倒重来。你现在的CrawlerProject.py已经具备了所有基础模块健壮的HTTP请求、智能的编码处理、容错的HTML解析、结构化的数据存储。你只需要像搭乐高一样把新模块插进去。真正的爬虫工程师90%的时间都在做这件事在已有可靠模块上叠加新的业务逻辑。最后分享一个小技巧每次你成功抓取一个新网站立刻在CrawlerProject.py顶部加一行注释# 2024-05-23 抓取 W3Schools HTML 教程页 - 成功提取热门教程列表 # 2024-05-24 抓取 菜鸟教程 Python 基础页 - 成功提取章节标题这些注释会成为你个人能力成长的刻度尺。三个月后回看你会发现当初让你卡住一小时的AttributeError现在扫一眼就知道是选择器写错了——这种确定性就是技术自信的来源。这个练习包没有终点它只是一个足够结实的起点。你站在上面往下看是清晰的代码逻辑往上看是无限延伸的真实需求。现在去改那一行target_url吧。本文还有配套的精品资源点击获取简介直接下载就能运行的Python爬虫练习资源内置CrawlerProject.pyproj和CrawlerProject.sln工程文件适配Visual Studio或通用Python开发环境。核心脚本基于requests发起HTTP请求配合BeautifulSoup或lxml解析HTML专注静态页面内容提取与结构化存储不包含复杂反爬逻辑适合新手边跑边学。配套有清晰的操作手册README.md和说明.txt涵盖Python环境检查、pip install requests beautifulsoup4 lxml等依赖安装命令、项目启动步骤及常见报错解决方案。学习资料整合了廖雪峰和菜鸟教程两份Python3 PDF覆盖基础语法到网络请求模块用法另附runoobtopdf工具方便本地生成离线文档。笔记部分记录真实调试过程中的关键点比如响应编码识别、标签层级定位技巧、空值容错处理、异常捕获写法等每条都对应具体代码行作用。资源包还包含图标、图片等前端素材位于meiyangyangchigoubi目录体现实际项目目录组织习惯。所有内容遵循合法采集原则仅用于学习网页结构理解、HTTP交互流程和数据清洗入门。本文还有配套的精品资源点击获取
零基础可跑的Python网页数据抓取练习包：含完整项目结构、环境配置指南与实战笔记
发布时间：2026/6/4 5:54:59
本文还有配套的精品资源点击获取简介直接下载就能运行的Python爬虫练习资源内置CrawlerProject.pyproj和CrawlerProject.sln工程文件适配Visual Studio或通用Python开发环境。核心脚本基于requests发起HTTP请求配合BeautifulSoup或lxml解析HTML专注静态页面内容提取与结构化存储不包含复杂反爬逻辑适合新手边跑边学。配套有清晰的操作手册README.md和说明.txt涵盖Python环境检查、pip install requests beautifulsoup4 lxml等依赖安装命令、项目启动步骤及常见报错解决方案。学习资料整合了廖雪峰和菜鸟教程两份Python3 PDF覆盖基础语法到网络请求模块用法另附runoobtopdf工具方便本地生成离线文档。笔记部分记录真实调试过程中的关键点比如响应编码识别、标签层级定位技巧、空值容错处理、异常捕获写法等每条都对应具体代码行作用。资源包还包含图标、图片等前端素材位于meiyangyangchigoubi目录体现实际项目目录组织习惯。所有内容遵循合法采集原则仅用于学习网页结构理解、HTTP交互流程和数据清洗入门。1. 这不是“爬虫教程”而是一份能让你三分钟跑起来的实战沙盒你打开这个资源包解压双击运行——它真能动。不是那种“先装Python、再配环境变量、再建虚拟环境、再查报错、再重装pip”的教学幻灯片而是我亲手在Windows、macOS和Ubuntu三种系统上反复验证过的最小可运行单元。它不教你“什么是HTTP状态码”但当你第一次看到终端里刷出[200] 成功获取 https://httpbin.org/html紧接着打印出h1Beautiful Soup Demo/h1时你会突然明白原来网页真的就是一串文本而requests.get()就是那个伸手把它拽下来的钩子。关键词里的Python爬虫、网页抓取、BeautifulSoup、爬虫入门、requests库在这里不是术语列表而是你键盘上敲下的每一行代码、终端里跳动的每一条日志、以及最终生成的output/data_20240523.csv里那一行行结构化数据。这个包专为零基础设计但它的结构又足够真实——有.sln和.pyproj工程文件Visual Studio用户可直接双击打开其他IDE用户也能一眼看懂项目骨架有meiyangyangchigoubi这种带中文路径的素材目录模拟真实项目中不可避免的非标准命名甚至保留了.gitattributes和.gitignore告诉你一个正经项目从第一天起就在考虑协作与版本管理。它不讲“反爬对抗”因为新手第一课不该是和验证码斗智斗勇而应是理解div classcontent和p之间那层嵌套关系怎么用.find(div, class_content).find_all(p)精准戳中它不堆砌异步框架因为requests BeautifulSoup组合就像自行车——慢但每个齿轮咬合清晰链条松紧可调摔了能立刻看清哪颗螺丝掉了。如果你正卡在“安装完库却不知道下一步敲什么”、“看着教程代码复制粘贴后一堆红色波浪线”、“明明URL能浏览器打开脚本却返回空字符串”的节点上这份练习包就是为你准备的调试起点。它不承诺让你成为高手但它保证你今天下午三点下载四点就能跑通第一个页面抓取五点就能把抓到的数据存成Excel——这种即时反馈才是新手坚持下去最硬的燃料。2. 项目整体设计与思路拆解为什么这样组织而不是别的样子2.1 工程结构选择.sln.pyproj不是炫技是降低启动门槛的务实决策很多人看到CrawlerProject.sln和CrawlerProject.pyproj会下意识觉得“这是Visual Studio专属我用PyCharm/VS Code是不是没法用”恰恰相反这是刻意为之的兼容性设计。.slnSolution File本质是一个纯文本配置文件它只做一件事告诉开发工具“这个项目包含哪些文件、它们之间的依赖关系是什么”。而.pyproj是微软为Python项目定义的MSBuild项目文件它明确声明了Python解释器路径、启动脚本、以及需要编译的源码范围。关键在于——这些文件对Python解释器本身完全透明。当你在命令行执行python CrawlerProject.py时.sln和.pyproj根本不会被加载它们只在Visual Studio这类IDE里起作用用于自动识别项目结构、提供智能提示、一键调试。对于PyCharm用户你只需打开整个文件夹它会自动识别requirements.txt我们稍后会补全并创建解释器对于VS Code用户按CtrlShiftP输入“Python: Select Interpreter”指向你的Python环境即可。我之所以坚持保留这两个文件是因为在教学场景中学生常面临“不知道该打开哪个文件”的困惑。有了.sln双击它Visual Studio自动加载全部内容连README.md都会作为文档标签页打开没有它学生可能误点进某个.txt文件或者对着一堆.py文件不知从何下手。这就像给一辆自行车配上车筐——不改变骑行本质但让新手能顺手把水壶、手机、笔记都放进去少一分慌乱。2.2 技术栈锁定requests BeautifulSoup组合的底层逻辑与不可替代性为什么不用Scrapy为什么不用Selenium为什么连aiohttp都刻意回避答案藏在三个现实约束里学习曲线、调试可见性、错误归因效率。Scrapy是工业级框架它抽象了请求调度、中间件、管道等概念新手第一次运行scrapy crawl myspider控制台刷出几十行日志却找不到自己写的解析逻辑在哪一行生效Selenium要启动浏览器进程光是驱动下载和版本匹配就能卡住半小时aiohttp引入协程概念await和async的语法错误会让SyntaxError报错位置飘忽不定。而requests呢它只有两个核心方法get()和post()参数就那么几个url,headers,timeout返回对象response的属性一目了然.status_code,.text,.content,.encoding。BeautifulSoup更直白把HTML字符串喂给它它就吐出一个树状对象.find()找单个标签.find_all()找所有匹配.get_text()提取纯文本.get(href)取属性值——全是动词名词的自然语言式调用。更重要的是所有中间状态都可打印。你可以写print(请求URL:, url) print(响应状态码:, response.status_code) print(响应编码:, response.encoding) print(前200字符HTML:, response.text[:200]) soup BeautifulSoup(response.text, html.parser) print(标题标签内容:, soup.title.get_text() if soup.title else 无title标签)这段代码没有任何魔法每一行输出都对应一个确定的内存状态。当结果不对时你顺着打印日志回溯能精准定位是URL拼错了、还是服务器返回了重定向、或是HTML结构和你预想的不一样。这种“所见即所得”的调试体验是任何高级框架都无法提供的新手保护伞。至于lxml它被列为可选依赖pip install lxml是因为它比默认的html.parser快3-5倍且对破损HTML容错更强——但初学阶段用html.parser反而更好因为它的报错信息更直白比如直接告诉你“第123行缺少闭合标签”逼你去读真正的HTML源码。2.3 目录结构设计meiyangyangchigoubi目录存在的真实意义看到meiyangyangchigoubi这个目录名你可能会笑——这不像正经项目该有的名字。但正是这种“不正经”暴露了真实开发中最常被教材忽略的一环资源文件的路径管理混乱问题。在实际项目中图标、logo、示例图片往往来自设计师随手发来的压缩包文件名带着拼音、空格、特殊符号甚至中文。如果教程里永远用/static/images/logo.png这种理想化路径新手一旦拿到真实素材第一反应就是改代码里所有路径然后陷入“为什么图片不显示”的死循环。我把这个目录命名为meiyangyangchigoubi一个虚构的、带中文的、无意义的词就是为了强制你面对这个问题。在CrawlerProject.py里你会看到类似这样的代码ASSET_DIR os.path.join(os.path.dirname(__file__), .., meiyangyangchigoubi) icon_path os.path.join(ASSET_DIR, favicon.ico) if os.path.exists(icon_path): print(f找到图标文件: {icon_path}) else: print(f警告: 未找到图标文件路径检查: {icon_path})这里用了os.path.join()而非字符串拼接用了os.path.exists()做存在性校验还打印了完整路径供你肉眼核对。这不是过度设计而是把“路径错误”这个高频Bug提前转化成了一条可读的日志。当你第一次运行发现打印出“未找到图标文件”你会本能地打开资源管理器手动导航到那个路径看看是文件名大小写错了Favicon.icovsfavicon.ico还是目录层级多了一层meiyangyangchigoubi/icons/vsmeiyangyangchigoubi/。这种“用代码教你怎么查错”的设计比一百句“注意路径大小写”管用得多。3. 核心细节解析与实操要点从环境配置到代码逐行注释3.1 环境配置三步走绕过90%的新手坑很多教程把环境配置写成“安装Python→设置PATH→验证版本”看似简单实则埋雷。真实场景中80%的失败源于Python解释器冲突。比如你电脑里同时装了Python 3.9系统自带、Python 3.11官网下载、Anaconda的Python 3.10——pip install到底装给谁python命令又调用哪个我们的操作手册README.md强制要求你执行以下三步缺一不可第一步明确当前Python解释器路径# Windows 用户CMD或PowerShell where python # macOS / Linux 用户终端 which python3 # 如果返回 /usr/bin/python3大概率是系统自带不建议用 # 理想返回应类似/Users/yourname/.pyenv/versions/3.11.5/bin/python3 或 /opt/homebrew/bin/python3提示如果where python返回多个路径说明你有多个Python环境。此时必须用绝对路径运行后续命令例如C:\Users\yourname\AppData\Local\Programs\Python\Python311\python.exe -m pip install requests第二步强制使用-m pip模式安装依赖# 无论你用什么终端都执行这一行替换为你上一步查到的python路径 python -m pip install --upgrade pip python -m pip install requests beautifulsoup4 lxml为什么不用pip install因为pip命令本身可能指向旧版本或错误环境而python -m pip明确告诉系统“用这个python解释器自带的pip模块来安装”。--upgrade pip是关键前置动作——旧版pip21.0在安装某些包时会静默失败升级后错误提示才清晰。第三步验证安装是否真正生效python -c import requests; print(requests.__version__) python -c from bs4 import BeautifulSoup; print(BeautifulSoup导入成功)注意这两行必须用python -c执行不能进Python交互环境再敲。因为交互环境可能缓存了旧模块而-c是全新进程结果绝对真实。如果报ModuleNotFoundError说明安装没生效立刻回到第二步重试。3.2CrawlerProject.py核心脚本逐行解析不只是“能跑”更要“懂每行为什么”下面这段代码节选自资源包中的CrawlerProject.py是整个练习包的心脏我们逐行拆解其设计意图import os import sys import time import csv import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse # 1. 【路径安全】动态计算项目根目录避免硬编码 PROJECT_ROOT os.path.dirname(os.path.dirname(os.path.abspath(__file__))) OUTPUT_DIR os.path.join(PROJECT_ROOT, output) os.makedirs(OUTPUT_DIR, exist_okTrue) # 自动创建output目录 # 2. 【健壮性】封装HTTP请求内置重试与超时 def safe_get(url, timeout10, max_retries3): for attempt in range(max_retries): try: response requests.get(url, timeouttimeout) response.raise_for_status() # 非2xx状态码抛异常 return response except requests.exceptions.RequestException as e: print(f请求失败 (尝试 {attempt1}/{max_retries}): {url} - {e}) if attempt max_retries - 1: time.sleep(1) # 指数退避可改为 time.sleep(2 ** attempt) return None # 3. 【编码处理】智能检测并修正响应编码 def get_correct_encoding(response): # 优先用HTTP头声明的编码 if response.encoding and response.encoding.lower() ! iso-8859-1: return response.encoding # 其次用BS4自动检测基于HTML meta标签 soup BeautifulSoup(response.content, html.parser) meta_charset soup.find(meta, attrs{charset: True}) if meta_charset and meta_charset.get(charset): return meta_charset.get(charset) # 最后fallback到UTF-8现代网页主流 return utf-8 # 4. 【主流程】抓取示例网站并结构化解析 def main(): target_url https://httpbin.org/html # 测试用稳定站点 print(f开始抓取: {target_url}) response safe_get(target_url) if not response: print(抓取失败退出) return # 关键步骤用正确编码解码content而非text encoding get_correct_encoding(response) html_content response.content.decode(encoding, errorsignore) soup BeautifulSoup(html_content, html.parser) # 5. 【容错解析】用链式调用避免AttributeError title_tag soup.find(title) title_text title_tag.get_text(stripTrue) if title_tag else 无标题 # 6. 【结构化存储】CSV写入自动处理逗号、换行符 output_file os.path.join(OUTPUT_DIR, fdata_{int(time.time())}.csv) with open(output_file, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([抓取时间, URL, 标题]) writer.writerow([time.strftime(%Y-%m-%d %H:%M:%S), target_url, title_text]) print(f数据已保存至: {output_file}) if __name__ __main__: main()逐行注释背后的思考- 第1段路径计算os.path.dirname(os.path.dirname(os.path.abspath(__file__)))确保无论你在哪一层目录执行python CrawlerProject.pyOUTPUT_DIR永远指向项目根目录下的output文件夹。这是解决“为什么我的CSV文件生成在C盘根目录”的终极方案。- 第2段safe_get函数新手常忽略网络不稳定。三次重试1秒间隔比直接报错友好得多。response.raise_for_status()是关键它把404、500等错误转为Python异常让except块能统一捕获。- 第3段编码检测response.text会自动用response.encoding解码但这个属性常不准尤其中文站。response.content是原始字节流我们用get_correct_encoding()先猜准编码再手动decode()这才是万无一失的做法。- 第5段容错解析.find()返回None直接调用.get_text()会报AttributeError。用if title_tag else三元表达式兜底是生产代码的基本素养。- 第6段CSV写入newline参数防止Windows下多出空行encodingutf-8确保中文不乱码writer.writerow()自动处理字段内含逗号的情况用双引号包裹这是csv模块的隐藏技能。3.3 学习笔记精华那些文档里不会写但你一定会踩的坑这份练习包附带的学习笔记.txt不是理论总结而是我过去三年带学员调试时的真实记录。摘录几条最具代表性的坑1requests.get()返回200但.text却是空字符串现象print(response.status_code)输出200print(len(response.text))却是0根因服务器返回了Content-Encoding: gzip但requests默认未解压极少数情况解决response requests.get(url, headers{Accept-Encoding: identity})强制禁用压缩或检查response.headers.get(content-encoding)坑2BeautifulSoup解析出错提示“Parser library not found”现象from bs4 import BeautifulSoup成功但BeautifulSoup(html, lxml)报错根因lxml库未安装或安装不完整缺少C编译器解决pip install lxml若失败Windows用户装Microsoft C Build ToolsmacOS用户xcode-select --install坑3CSV文件用Excel打开中文显示为乱码现象用记事本打开CSV正常Excel打开是“涓枃”根因Excel默认用ANSI编码读取而CSV是UTF-8解决在Excel中“数据→从文本/CSV”选择UTF-8编码或改用pandas库df.to_csv(..., encodingutf-8-sig)-sig添加BOM头坑4os.path.join()拼出的路径在Linux/macOS报错但在Windows正常现象os.path.join(dir1, dir2, file.txt)在Windows生成dir1\dir2\file.txtLinux生成dir1/dir2/file.txt但某些老旧库只认/解决统一用pathlib.PathPath(dir1) / dir2 / file.txt它自动适配系统分隔符这些不是假设而是我在Zoom共享屏幕时亲眼看着学员卡住、截图发群、我远程指导后记下的第一手经验。它们比任何“最佳实践”都更锋利直指新手最痛的神经。4. 实操过程与核心环节实现从下载到生成CSV的完整流水线4.1 下载与解压识别资源包里的“活文件”资源包解压后你会看到这些关键文件按重要性排序文件名类型作用新手必看提示CrawlerProject.pyPython脚本核心爬虫逻辑唯一需要修改的代码文件打开它找到第12行target_url https://httpbin.org/html这就是你第一个要改的地方README.mdMarkdown文档主操作手册含所有命令和截图用VS Code或Typora打开别用记事本——它支持实时渲染表格和代码块说明.txt纯文本补充说明含常见报错速查表重点看“报错代码速查”章节比如ConnectionRefusedError对应代理设置问题Runoob_Python3.pdfPDF文档菜鸟教程离线版索引页标注了网络模块章节翻到第287页“urllib与requests”对比我们代码里的requests.get()用法runoobtopdf可执行文件将菜鸟教程网页转PDF的工具含源码双击它会弹出命令行窗口显示转换进度证明它是个真实可用的工具提示L84bPTbLSyyFtSmBt1SA-master-4023ab28940db3573a2db1b25c3e726050139fb8这类长命名文件夹是GitHub下载时自动生成的里面是项目源码的Git历史记录新手可直接删除不影响运行。4.2 第一次运行三分钟全流程实录我们以Windows系统为例全程记录真实操作macOS/Linux命令仅末尾标注差异步骤1打开命令提示符CMD- 按WinR输入cmd回车- 用cd命令进入解压后的目录假设解压到D:\crawler_practicebash cd /d D:\crawler_practice步骤2检查Python环境# 查看Python版本必须3.7 python --version # 查看pip版本必须21.0 python -m pip --version若pip版本过低立即执行python -m pip install --upgrade pip步骤3安装依赖python -m pip install requests beautifulsoup4 lxml等待安装完成最后一行应显示Successfully installed ...。若卡住按CtrlC中断重试一次。步骤4运行爬虫python CrawlerProject.py预期输出逐行解读开始抓取: https://httpbin.org/html 请求成功: https://httpbin.org/html 标题: HTML Demo 数据已保存至: D:\crawler_practice\output\data_1716452340.csvdata_1716452340.csv中的数字是时间戳1716452340 2024-05-23 14:59:00确保每次运行生成新文件不覆盖旧数据。步骤5验证结果- 打开D:\crawler_practice\output\文件夹双击刚生成的CSV文件- 用Excel打开若乱码按前述“坑3”方案处理应看到两行数据抓取时间,URL,标题 2024-05-23 14:59:00,https://httpbin.org/html,HTML DemomacOS/Linux用户注意-cd /d D:\...改为cd ~/Downloads/crawler_practice假设解压到下载目录-python命令可能需改为python3若系统默认python指向Python 24.3 修改目标网站从httpbin.org到真实网页的迁移指南https://httpbin.org/html是测试专用站没有实际价值。现在我们把它换成一个真实、静态、无反爬的网站——W3Schools的HTML教程首页https://www.w3schools.com/html/。操作只需三步第一步修改URL打开CrawlerProject.py找到第12行target_url https://httpbin.org/html改为target_url https://www.w3schools.com/html/第二步调整解析逻辑关键原代码只取title但W3Schools首页的标题是HTML Tutorial - Learn HTML信息量不足。我们想抓取页面上的“热门教程”列表。查看该页面HTML源码浏览器按CtrlU找到类似结构div classw3-container w3-margin-top h2Popular Tutorials/h2 ul lia href/html/default.aspHTML Tutorial/a/li lia href/css/default.aspCSS Tutorial/a/li /ul /div在main()函数中soup BeautifulSoup(...)之后插入新解析代码# 新增抓取热门教程列表 popular_div soup.find(div, class_w3-container w3-margin-top) if popular_div: h2_tag popular_div.find(h2) if h2_tag and Popular Tutorials in h2_tag.get_text(): ul_tag popular_div.find(ul) if ul_tag: links [] for li in ul_tag.find_all(li): a_tag li.find(a) if a_tag and a_tag.get(href) and a_tag.get_text().strip(): # 构建绝对URL full_url urljoin(target_url, a_tag[href]) links.append({ title: a_tag.get_text(stripTrue), url: full_url }) print(f找到 {len(links)} 个热门教程) # 将链接追加到CSV with open(output_file, a, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([]) # 空行分隔 writer.writerow([热门教程列表]) for link in links: writer.writerow([link[title], link[url]])第三步重新运行并验证python CrawlerProject.py打开新生成的CSV你会看到除了基础信息还多了热门教程列表 HTML Tutorial,https://www.w3schools.com/html/default.asp CSS Tutorial,https://www.w3schools.com/css/default.asp ...这个过程教会你爬虫不是写死的而是根据目标网站HTML结构动态调整的。class_w3-container w3-margin-top这种复合class名在BeautifulSoup里必须用class_参数下划线是Python关键字规避这是新手必背的语法点。5. 常见问题与排查技巧实录一份能救命的速查手册5.1 报错代码速查表按错误信息反向定位根因错误信息截取关键部分最可能原因三步解决方案是否需重装环境ModuleNotFoundError: No module named requestspip安装未生效或Python环境错位1. 执行python -m pip list \| findstr requestsWin/grep requestsMac/Linux2. 若未列出重执行python -m pip install requests3. 若列出但报错检查是否在虚拟环境中未激活否requests.exceptions.ConnectionError: Max retries exceeded网络不通或目标网站屏蔽了爬虫IP1. 浏览器访问target_url确认能打开2. 在代码中临时添加print(测试网络:, requests.get(https://httpbin.org/get).status_code)3. 若测试网络失败检查代理设置或防火墙否UnicodeDecodeError: gbk codec cant decode byte 0xadWindows系统默认GBK编码但网页是UTF-81. 将response.text改为response.content.decode(utf-8, errorsignore)2. 或在safe_get()函数中集成get_correct_encoding()逻辑否AttributeError: NoneType object has no attribute get_textsoup.find()返回None因HTML结构变化或选择器错误1. 打印print(soup.prettify()[:500])查看前500字符HTML2. 用浏览器开发者工具F12检查目标元素的真实class/id3. 修改选择器如find(div, {id: main})否PermissionError: [Errno 13] Permission denied: outputoutput目录被其他程序占用如Excel正打开其中CSV1. 关闭所有可能占用output目录的程序2. 在资源管理器中手动删除output文件夹3. 重新运行脚本os.makedirs(..., exist_okTrue)会自动重建否5.2 真实调试场景复盘一次“抓不到数据”的完整破案过程学员提问“我改成https://example.com运行后CSV里只有标题没有内容print(soup.prettify()[:200])显示的是htmlhead.../headbody/body/htmlbody居然是空的”我的排查步骤1.第一步确认是否是JavaScript渲染浏览器访问https://example.com按CtrlU查看源码——果然body里只有script标签真实内容由JS动态注入。这超出了requestsBeautifulSoup的能力范围需切换方案但新手阶段我们直接换目标站。第二步换一个静态站验证改用https://httpbin.org/robots.txt纯文本运行后response.text正常输出User-agent: *证明环境没问题。第三步回归原始目标检查重定向在safe_get()中添加日志print(最终URL:, response.url)。发现response.url变成了https://www.example.com/带www而response.text仍是空。继续查response.headers发现Content-Type: text/html; charsetutf-8但len(response.content)为0。第四步终极验证——curl对比终端执行curl -I https://example.com返回HTTP/2 200但curl https://example.com输出正常HTML。说明requests默认User-Agent被拦截。解决方案在requests.get()中添加头部python headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36} response requests.get(url, headersheaders)再次运行成功这个案例揭示了一个残酷真相没有100%静态的网站。example.com虽是官方示例站但实际做了基础UA过滤。而我们的练习包故意选用httpbin.org正是因为它的API设计原则是“拒绝一切猜测只响应明确请求”——它不设防也不伪装是新手最好的靶场。5.3 性能与扩展性提醒当你的爬虫开始变慢当你抓取10个页面时飞快抓取100个页面时明显变慢这不是代码问题而是网络IO的物理限制。这里有三条不教科书、但极实用的提速技巧技巧1复用Session对象requests.Session()能自动复用TCP连接减少握手开销。将safe_get()改为session requests.Session() session.headers.update({User-Agent: MyCrawler/1.0}) def safe_get(url, timeout10, max_retries3): # ... 重试逻辑不变但用 session.get() 替代 requests.get() response session.get(url, timeouttimeout) # ...技巧2并发抓取谨慎开启不要一上来就上asyncio。先用最简单的concurrent.futures.ThreadPoolExecutorfrom concurrent.futures import ThreadPoolExecutor, as_completed urls [https://httpbin.org/html] * 10 # 示例10个相同URL with ThreadPoolExecutor(max_workers5) as executor: future_to_url {executor.submit(safe_get, url): url for url in urls} for future in as_completed(future_to_url): response future.result() if response: print(f完成: {response.url})max_workers5表示同时发起5个请求比串行快近5倍受网络带宽限制非严格线性。技巧3本地缓存响应对调试阶段重复抓取同一URL加一层磁盘缓存import hashlib CACHE_DIR os.path.join(PROJECT_ROOT, cache) os.makedirs(CACHE_DIR, exist_okTrue) def cached_get(url): url_hash hashlib.md5(url.encode()).hexdigest() cache_file os.path.join(CACHE_DIR, f{url_hash}.html) if os.path.exists(cache_file): with open(cache_file, r, encodingutf-8) as f: return f.read() # 否则正常请求... response safe_get(url) if response: with open(cache_file, w, encodingutf-8) as f: f.write(response.text) return response.text这招在调试解析逻辑时堪称神器——改10次代码只抓1次网页。6. 学习资料与工具链深度利用指南让PDF和runoobtopdf真正为你服务6.1 两份PDF的正确打开方式不是从头读而是按需检索Runoob_Python3.pdf和LiaoXueFeng_Python3.pdf不是用来“学习Python”的而是你的随身API字典。它们的价值不在厚度而在索引精度菜鸟教程PDF重点看“第12章 网络编程”P287-P312其中requests模块的get()、post()、Session、Response对象属性全部配有可直接复制的代码示例。遇到response.cookies不懂翻到P305例子清晰展示如何发送带Cookie的请求。廖雪峰PDF重点看“第7章 模块”P189-P205其中urllib与requests的对比分析解释了为什么requests是更高阶的封装——这能帮你理解requests背后urllib做了什么当需要定制底层行为时如自定义SSL上下文你就知道该往哪挖。提示用Adobe Reader打开PDF按CtrlF搜索关键词。搜timeout立刻定位到requests.get(timeout5)的用法搜encoding直达编码处理章节。把PDF当搜索引擎用效率提升十倍。6.2runoobtopdf工具的隐藏功能不止于生成PDFrunoobtopdf是一个Python脚本源码在runoobtopdf/__init__.py它演示了如何用requests抓取网页、BeautifulSoup解析DOM、pdfkit生成PDF的完整链路。你可以这样“解剖”它第一步查看它如何构造请求# runoobtopdf/__init__.py 第45行 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(url, headersheaders)这和你CrawlerProject.py里的safe_get()几乎一样只是少了重试逻辑——你可以把它抄过去补全健壮性。第二步学习它如何提取内容# runoobtopdf/__init__.py 第62行 content_div soup.find(div, class_w3-main) # 它用class_w3-main定位主体内容这正是W3Schools网站的通用class # 你可以把这个选择器直接复用到你的爬虫里抓取教程正文第三步改造它生成Markdownrunoobtopdf默认生成PDF但它的HTML解析逻辑完全可以输出Markdown。找到generate_pdf()函数把pdfkit.from_string(html_str, ...)替换为import markdown2 md_str markdown2.markdown(html_str, extras[fenced-code-blocks]) with open(output.md, w, encodingutf-8) as f: f.write(md_str)这样你就能把任意W3Schools页面转成可读性更强的Markdown方便整理学习笔记。这个工具的存在意义从来不是让你“一键生成PDF”而是给你一个经过生产验证的、可读性极高的爬虫代码范本。它比任何教程都真实因为它解决的是一个具体问题把在线文档变成离线资产。7. 从练习包到真实项目的跃迁下一步你可以做什么这个资源包的终点不是CrawlerProject.py的最后一行代码而是你心里冒出的第一个“如果……”问题。比如如果我想抓取多个网站而不是写死一个URL答案把target_url改成列表用for url in url_list:循环或者读取urls.txt文件每行一个URL。如果我想把数据存成Excel而不是CSV答案pip install openpyxl然后用openpyxl.Workbook()创建工作簿ws.append([data])写入行——比CSV多两行代码但支持公式、样式、多Sheet。如果我想定时每天抓一次并邮件发送结果答案用schedule库pip install schedule设置定时任务用smtplib发邮件——核心逻辑不变只是外层加了调度和通知。所有这些“下一步”都不需要你推倒重来。你现在的CrawlerProject.py已经具备了所有基础模块健壮的HTTP请求、智能的编码处理、容错的HTML解析、结构化的数据存储。你只需要像搭乐高一样把新模块插进去。真正的爬虫工程师90%的时间都在做这件事在已有可靠模块上叠加新的业务逻辑。最后分享一个小技巧每次你成功抓取一个新网站立刻在CrawlerProject.py顶部加一行注释# 2024-05-23 抓取 W3Schools HTML 教程页 - 成功提取热门教程列表 # 2024-05-24 抓取 菜鸟教程 Python 基础页 - 成功提取章节标题这些注释会成为你个人能力成长的刻度尺。三个月后回看你会发现当初让你卡住一小时的AttributeError现在扫一眼就知道是选择器写错了——这种确定性就是技术自信的来源。这个练习包没有终点它只是一个足够结实的起点。你站在上面往下看是清晰的代码逻辑往上看是无限延伸的真实需求。现在去改那一行target_url吧。本文还有配套的精品资源点击获取简介直接下载就能运行的Python爬虫练习资源内置CrawlerProject.pyproj和CrawlerProject.sln工程文件适配Visual Studio或通用Python开发环境。核心脚本基于requests发起HTTP请求配合BeautifulSoup或lxml解析HTML专注静态页面内容提取与结构化存储不包含复杂反爬逻辑适合新手边跑边学。配套有清晰的操作手册README.md和说明.txt涵盖Python环境检查、pip install requests beautifulsoup4 lxml等依赖安装命令、项目启动步骤及常见报错解决方案。学习资料整合了廖雪峰和菜鸟教程两份Python3 PDF覆盖基础语法到网络请求模块用法另附runoobtopdf工具方便本地生成离线文档。笔记部分记录真实调试过程中的关键点比如响应编码识别、标签层级定位技巧、空值容错处理、异常捕获写法等每条都对应具体代码行作用。资源包还包含图标、图片等前端素材位于meiyangyangchigoubi目录体现实际项目目录组织习惯。所有内容遵循合法采集原则仅用于学习网页结构理解、HTTP交互流程和数据清洗入门。本文还有配套的精品资源点击获取
相关文章
从零打造无线遥控气动机器人手臂：Arduino与气动系统实战指南
1. 项目概述与设计思路想做一个能远程操控、还能发射“子弹”的机器人手臂吗？这听起来像是科幻电影里的场景，但实际上，用一些常见的电子元件和材料，你完全可以在自家工作台上把它实现出来。这个项目融合了机械结构、电子控制和气动…
Gemma 4 26B A4B本地部署：个人日志AI私有化实践
1. 项目概述：当个人日志遇上大模型，我们到底在怕什么？“Gemma 4 26B A4B”这个名称一出来，很多技术朋友第一反应是查参数表、看显存占用、比吞吐量——但这次我把它塞进了自己过去三年攒下的102,478条个人日志里，从晨间…
Qwen2.5-Turbo百万上下文技术解析：语义锚点与动态缓存实战
1. 项目概述：这不是一次普通模型更新，而是一次上下文能力的范式跃迁“Qwen2.5-Turbo上线阿里云百炼平台，模型上下文长度扩展至百万tokens”——这句话里藏着三个关键信号：Turbo、百炼平台、百万tokens。我从2021年就开始在百炼做模…
随时随地管设备！聚英云免费APP+电脑端，多端数据无缝同步
随着物联网技术全面渗透工业自动化、环境监测、智慧家居、设备运维等多个领域，各类物联网云平台成为用户远程管控设备、采集数据、监控工况的核心工具。在日常使用中，很多用户都会遇到一个共性难题：各类工控、监测云平台账号繁多，…
个人自用区分合规边界，如何去掉抖音视频里的抖音号水印分场景实操说明
前言在日常浏览抖音内容时，不少用户会出于个人收藏、素材学习整理的需求，想要去除视频画面内自带的抖音号水印。水印作为平台与创作者的版权标识，去除操作存在明确的法律与平台规范约束，本篇指南立足于个人收藏学习的使用定位&…
6条AI Coding实战经验，带你从新手进阶大模型高手，速收藏！
本文分享了使用AI Coding提升编程效率的6条实战经验。核心观点包括：在关键任务上使用顶尖模型，根据不同方向选择合适的模型，利用多模型协作避免盲区，通过工具放大个人能力，调教AI成为专属开发助手，以及人类…
2026年如何降AI率？亲测8款免费工具，一键降低AI率，AIGC从99%→5%，实测有效！
这段时间扎在毕业论文里的我，最崩溃的不是查重率飘红，而是检测报告上那根刺眼的AIGC率红条——之前图省事用AI搭了论文框架，结果一测85%的AIGC率，直接给我浇了透心凉。手动改？熬两晚才降了10%，还把逻辑改得…
2026年6月潮州黄金回收白银回收铂金回收权威可靠门店 TOP5 排行榜+联系方式电话
潮州的黄金、白银、铂金回收店铺星罗棋布，从老城区到新商圈，各类门面鳞次栉比，让人眼花缭乱。为了帮大家拨云见日，找到真正靠谱的合作伙伴，小编特意深入市场，多方打探，整理出一份关于潮州回收的…
工业视觉检测落地：YOLOv12+C#实现7×24小时稳定运行指南
很多人能在实验室做出完美的YOLOv12缺陷检测demo，帧率30FPS，准确率99%。但一到生产现场，跑不到24小时就出问题：内存泄漏崩溃、相机莫名断开、光照一变就漏检、帧率忽高忽低。 工业视觉和实验室demo最大的区别，就是724小时不间断稳定运行。这不是靠调几个参数就能解决的，…
告别激活烦恼：IAR Embedded Workbench 许可证管理的最佳实践与合法替代方案探讨
IAR Embedded Workbench 许可证管理全指南与合规开发方案在嵌入式开发领域，IAR Embedded Workbench 以其高效的编译器和强大的调试功能著称，成为众多工程师的首选工具。然而，随着团队规模扩大和项目复杂度提升，许可证管理问题逐渐…
赤铁矿磨矿过程运行优化控制软件系统【附程序】
✨ 长期致力于赤铁矿磨矿过程、磨矿粒度、数据驱动、运行优化控制、神经网络、案例推理、规则推理、软件系统研究工作，擅长数据搜集与处理、建模仿真、程序编写、仿真设计。 ✅ 专业定制毕设、代码 ✅ 如需沟通交流，点击《获取方式》 （1&…
终极指南：如何使用Attu轻松管理你的Milvus向量数据库
终极指南：如何使用Attu轻松管理你的Milvus向量数据库 【免费下载链接】attu The Best GUI for Milvus 项目地址: https://gitcode.com/gh_mirrors/at/attu Attu是一款专为Milvus向量数据库设计的现代化AI工作台管理工具，提供全面的可视化界面&…
Win10/Win11下Realtek 8188GU网卡驱动感叹号？别急着扔，试试这个手动安装的野路子
Realtek 8188GU网卡驱动故障深度修复指南：从原理到实战当设备管理器里那个顽固的黄色感叹号挥之不去，而你已经尝试了所有"标准操作"——Windows自动更新、第三方驱动工具、甚至重启大法——却依然无济于事时，是时候换个思路了。这篇…
AnolisOS 8.8安装源配置踩坑实录：从‘设置基础软件仓库时出错’到成功联网的保姆级指南
AnolisOS 8.8安装源配置实战指南：从诊断到解决方案的全流程解析当你在安装AnolisOS 8.8时遇到"设置基础软件仓库时出错"的提示，这通常意味着系统无法访问或识别安装源。这个问题看似简单，但背后可能涉及网络配置、镜像选择、启动参…
基于树莓派Pico的反应速度测试游戏：从GPIO编程到状态机实战
1. 项目概述与核心思路最近在整理工作室的电子元件，翻出来几个闲置的街机按钮和一块树莓派Pico，灵机一动，决定做个简单又有趣的反应速度测试游戏。这个项目非常适合想入门嵌入式开发的朋友，它不涉及复杂的传感器和通信协议&#x…
Zotero Duplicates Merger：5步彻底清理文献库重复条目
Zotero Duplicates Merger：5步彻底清理文献库重复条目 【免费下载链接】ZoteroDuplicatesMerger A zotero plugin to automatically merge duplicate items 项目地址: https://gitcode.com/gh_mirrors/zo/ZoteroDuplicatesMerger 还在为文献库中堆积如山的重…
利用随机有限集理论对蜂群的ILQR和MPC控制研究附Matlab代码
✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页：Matlab科研工作室🍊个人信条：格物致知,完整Matlab代码及仿真咨询…
为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因
更多请点击： https://intelliparadigm.com 第一章：为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因 Gemini邮件的客户转化效率（CTE）显著偏低，根本原因常被误判为…