前言在文旅行业数字化发展的当下互联网中汇聚了海量景点介绍、游玩路线、游客评价、出行贴士等旅游攻略类数据这类数据不仅能为旅游平台内容运营、文旅行业市场分析、出行参考提供核心支撑也成为数据分析、人工智能训练的重要数据源。传统人工复制整理数据的方式效率低下、成本高昂且无法实现海量数据的实时更新与批量采集基于 Python 开发定向爬虫程序能够自动化完成网页请求、数据解析、内容提取与本地存储工作大幅提升数据采集效率。本文围绕旅游类网站景点及攻略数据采集场景展开完整实战开发从环境配置、核心库功能讲解、网页结构分析、代码编写、逻辑原理拆解、异常处理、数据持久化等维度进行全面讲解同时结合实战过程中常见的反爬机制、编码问题、分页爬取问题给出解决方案。本次项目开发所依赖的第三方库及官方资源链接如下 Python 官方下载地址、requests 库官方文档、BeautifulSoup4 官方文档、lxml 解析库下载与文档、csv 模块官方说明、time 模块官方文档。本项目适用于具备 Python 基础语法想要学习通用静态网页爬虫开发、数据解析与批量采集的开发者所编写的代码具备良好的可移植性与拓展性可根据不同旅游网站的页面结构进行简单修改后复用同时代码中融入工程化的异常捕获、请求延时、编码兼容等设计思路贴合实际生产环境中的爬虫开发规范。一、项目整体规划与需求分析1.1 项目采集目标本次爬虫项目选定主流旅游资讯类静态网页作为采集目标核心采集内容分为两大模块分别为景点基础信息与旅游攻略信息具体采集字段规划如下表所示。表格数据分类采集字段字段说明数据类型景点基础信息景点名称景区、公园、地标等完整名称字符串景点基础信息所属地区省、市、区县三级地域信息字符串景点基础信息景点等级A 级景区、网红景点、免费景点等标签字符串景点基础信息门票价格成人票、优待票、免票等价格信息字符串景点基础信息开放时间日常营业、节假日调整后的开放时段字符串景点基础信息景点简介官方介绍、历史背景、特色亮点文本字符串旅游攻略信息游玩时长推荐游览耗时字符串旅游攻略信息最佳游玩季节适合出行的月份、季节说明字符串旅游攻略信息交通指南公共交通、自驾路线等出行方式字符串旅游攻略信息游玩贴士注意事项、穿搭建议、消费提醒等字符串1.2 功能需求拆解结合采集目标将爬虫程序拆解为多个独立功能模块各模块各司其职且相互联动保障采集流程完整运行网络请求模块模拟浏览器向目标网站发送 HTTP 请求获取网页原始 HTML 源码处理请求超时、连接失败、状态码异常等网络问题。页面解析模块基于 HTML 源码定位目标数据节点提取表格、文本、标签等结构化与非结构化数据完成数据清洗与格式统一。分页遍历模块识别网站分页规则自动循环访问不同页码页面实现全页数据批量采集避免单页数据遗漏。数据存储模块将解析完成的结构化数据写入本地 CSV 文件实现数据持久化保证数据可读性与后续二次处理便利性。反爬应对模块设置请求头伪装浏览器身份、添加随机请求延时规避目标网站基础反爬策略降低 IP 被封禁风险。日志与异常模块捕获代码运行过程中的语法异常、解析异常、IO 异常输出异常提示信息保障程序持续运行。1.3 运行环境要求本项目基于 Python 3.7 及以上版本开发兼容 Windows、Linux、macOS 全平台操作系统运行前需完成基础环境与第三方库的安装配置。系统需保证网络正常连通能够正常访问目标旅游网站同时本地磁盘具备基础存储空间用于存放采集后的 CSV 数据文件。二、开发环境与依赖库安装详解2.1 Python 基础环境配置首先完成 Python 解释器的安装进入前文提供的Python 官方下载地址根据自身操作系统选择对应安装包Windows 系统推荐选择 Windows Installer 版本Linux 与 macOS 可选择对应源码包或系统适配安装包。安装过程中勾选 “Add Python to PATH” 自动配置环境变量安装完成后打开系统命令行工具输入python --version若正常输出版本号则代表基础环境配置成功。2.2 核心第三方库介绍与安装本项目主要使用requests、bs4(BeautifulSoup4)、lxml三大核心第三方库搭配 Python 内置csv、time、random模块完成全功能开发下文逐一说明库的作用、安装命令与核心特性。2.2.1 requests 库requests是 Python 生态中主流的 HTTP 请求库相较于 Python 内置的urllib模块其语法简洁、功能强大支持 GET、POST 等主流请求方式同时简化了请求头设置、Cookie 携带、超时配置、编码处理等操作是爬虫开发的首选网络请求库。打开命令行执行以下 pip 安装命令完成安装plaintextpip install requests安装完成后可在命令行输入pip show requests查看库版本、安装路径等信息验证安装结果。参考requests 库官方文档可学习该库的高级用法如会话保持、代理设置、文件上传等。2.2.2 BeautifulSoup4 与 lxml 解析库BeautifulSoup4简称 bs4是专门用于 HTML、XML 文档解析的库能够将复杂的网页源码转换为树形结构开发者可通过标签名、属性、选择器等方式快速定位页面元素、提取文本与属性值。BeautifulSoup4本身不具备解析能力需要依赖解析器工作lxml是目前性能最优、兼容性最强的 HTML/XML 解析器解析速度远高于 Python 内置的 html.parser因此本项目组合使用bs4 lxml作为解析方案。依次执行以下两条安装命令plaintextpip install beautifulsoup4 pip install lxml安装完成后可查阅BeautifulSoup4 官方文档与lxml 解析库下载与文档掌握节点定位、数据提取等核心语法。2.2.3 Python 内置模块说明项目中还使用三个 Python 标准内置模块无需额外安装随 Python 解释器自带csv 模块用于创建、写入 CSV 格式文件CSV 文件可直接使用 Excel、WPS 打开适合存储结构化表格数据详细用法参考csv 模块官方说明。time 模块实现程序延时功能模拟人类浏览网页的间隔时间规避网站反爬详情参考time 模块官方文档。random 模块配合 time 模块生成随机延时时间进一步提升请求行为的模拟度。三、目标网页结构分析爬虫开发的核心前提是精准分析目标网页的 HTML 结构明确数据所在的标签、类名、ID、层级关系才能编写对应的解析规则。本次选取典型静态旅游攻略网页作为分析对象整体页面分为顶部导航区、分页控制区、景点列表区、单景点详情区四大板块。3.1 网页请求方式分析打开浏览器进入目标旅游页面按下 F12 调出开发者工具切换至 Network 网络面板刷新页面后查看请求记录。列表中第一条请求即为当前页面的主请求请求方式为GET 请求请求 URL 存在明显的分页参数格式规则为https://xxx.com/travel?page页码页码从 1 开始依次递增这是实现分页爬取的核心依据。查看请求的 Request Headers 请求头信息网站会通过 User-Agent 字段识别客户端类型若检测到请求来自 Python 程序默认标识会直接拒绝访问因此爬虫程序中必须手动配置 User-Agent 伪装成浏览器。3.2 景点列表节点分析页面主体区域为景点列表每一个景点对应一组独立的 HTML 标签组合所有景点标签统一包裹在一个父级 div 标签内。单个景点的基础信息名称、地区、等级、门票、开放时间全部存放在 class 属性固定的 div、span 标签中标签层级固定、属性唯一可通过 BeautifulSoup 的类选择器精准定位。景点简介、游玩攻略等长文本内容部分直接展示在列表页部分需要进入景点详情页获取。本文分为两个采集阶段第一阶段采集列表页可见的基础字段第二阶段通过列表页中的详情链接二次请求详情页获取完整攻略文本。3.3 分页规则分析页面底部存在分页按钮点击不同页码观察 URL 变化可总结出分页参数规律URL 末尾page后的数字代表当前页码页面无总页码限制时可设置循环区间实现批量爬取若存在最大页码可先解析页面底部页码标签获取总页数再遍历全部页码避免无效请求。3.4 数据格式与干扰项分析网页中存在大量空白字符、换行符、HTML 转义字符、广告标签、无关链接等干扰内容原始提取的文本数据需要做清洗处理。例如文本前后多余空格、段落之间换行符、 空格转义字符等需通过字符串替换、去除首尾空格等操作统一数据格式保证存储后数据整洁规范。四、完整爬虫代码实现与逐行原理解析结合前文的环境配置、页面分析、功能规划分模块编写完整爬虫代码代码分为基础配置模块、请求函数模块、列表页解析模块、详情页解析模块、数据存储模块、主程序分页调度模块六大板块每段代码后附带详细原理讲解、功能说明与注意事项。4.1 整体代码框架与导入模块首先导入项目所需的全部库与模块这是所有代码运行的入口完整代码如下python运行# 导入网络请求库 import requests # 导入网页解析库 from bs4 import BeautifulSoup # 导入CSV文件操作模块 import csv # 导入时间模块实现请求延时 import time # 导入随机数模块生成随机延时 import random代码原理解析import requests引入第三方 HTTP 请求库后续所有网页访问、数据获取操作均依赖该库完成。from bs4 import BeautifulSoup从 bs4 库中单独导入 BeautifulSoup 解析类该类是解析 HTML 源码的核心入口无需导入 bs4 全库精简代码体积。import csv调用 Python 内置 CSV 模块负责创建文件、写入表头、逐行存储采集数据。import time与import random两个模块配合使用在两次网页请求之间添加随机间隔时间模拟真人浏览网页的行为降低目标网站反爬机制的触发概率是中小型爬虫必备的反爬基础手段。4.2 全局参数与请求头配置定义项目全局变量包含基础 URL、请求头、文件存储路径、请求延时区间等内容代码如下python运行# 目标网站基础URL分页参数后续拼接 BASE_URL https://www.traveldemo.com/scenic?page # 配置请求头伪装成谷歌浏览器规避基础反爬 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } # 定义数据存储的CSV文件路径 SAVE_FILE 旅游景点与攻略数据.csv # 随机延时区间1-3秒 SLEEP_MIN 1 SLEEP_MAX 3 # 设置爬取页码范围根据需求修改起止页码 START_PAGE 1 END_PAGE 10代码原理解析BASE_URL定义网站基础链接将可变的页码参数拆分出来后续循环时只需要拼接数字即可生成完整分页 URL提升代码复用性若更换同结构网站仅需修改基础 URL 即可。HEADERS请求头字典核心字段为User-Agent该字段用于标识客户端类型。Python requests 默认的 UA 标识会被多数旅游网站拦截因此手动填入真实浏览器的 UA 字符串欺骗服务器将爬虫识别为正常浏览器访问。除 UA 外部分网站还会校验 Referer、Cookie 等字段可根据实际反爬强度补充。SAVE_FILE指定本地存储文件名称与路径文件后缀为.csv后续 csv 模块会按照标准 CSV 格式写入数据。SLEEP_MIN与SLEEP_MAX限定随机延时的上下区间单位为秒每完成一次网页请求后程序会暂停随机时长避免短时间内高频请求造成服务器压力同时防止 IP 被临时封禁。START_PAGE与END_PAGE定义本次需要爬取的起始页码和结束页码开发者可根据数据量自由调整区间实现指定范围页码的定向采集。4.3 通用网页请求函数封装将网页请求逻辑封装为独立函数统一处理请求、超时、异常等问题代码如下python运行def get_html(url): 发送GET请求获取网页HTML源码 :param url: 目标网页链接 :return: 成功返回HTML源码失败返回None try: # 发送GET请求设置超时时间为10秒 response requests.get(url, headersHEADERS, timeout10) # 设置网页编码为UTF-8解决中文乱码问题 response.encoding utf-8 # 判断响应状态码200代表请求成功 if response.status_code 200: return response.text else: print(f请求失败状态码{response.status_code}链接{url}) return None except requests.exceptions.Timeout: print(f链接 {url} 请求超时) return None except requests.exceptions.ConnectionError: print(f链接 {url} 连接失败请检查网络或链接有效性) return None except Exception as e: print(f链接 {url} 出现未知异常{str(e)}) return None代码原理解析函数get_html接收唯一参数url即待访问的网页链接函数设计为通用请求接口列表页、详情页均可调用此函数获取源码实现代码解耦。requests.get()发送 HTTP GET 请求传入三个核心参数url为请求地址headers为伪装请求头timeout10设置请求超时时间若 10 秒内未收到服务器响应直接判定为请求超时避免程序卡死。response.encoding utf-8手动指定响应内容编码格式。多数中文网站使用 UTF-8 编码若不手动设置requests 会自动推测编码极易出现中文乱码这是中文网页爬虫必须处理的编码问题。状态码判断HTTP 协议中状态码200 OK代表请求完全成功服务器正常返回数据404 代表页面不存在、403 代表权限不足被拦截、500 代表服务器内部错误代码中对非 200 状态码进行打印提示方便开发者定位问题。多层异常捕获使用try...except异常捕获结构分类处理不同类型错误requests.exceptions.Timeout捕获请求超时异常多由网络延迟、服务器响应缓慢导致requests.exceptions.ConnectionError捕获连接失败异常常见于链接失效、网络断开、IP 被封禁通用Exception捕获其余所有未知异常保证单个链接出错不会导致整个爬虫程序终止运行提升程序健壮性。函数返回值请求成功返回网页 HTML 文本源码各类异常场景统一返回None上层调用函数可根据返回值判断是否继续解析数据。4.4 列表页数据解析函数封装编写列表页解析函数提取景点名称、地区、等级、门票、开放时间、详情页链接等数据代码如下python运行def parse_list_page(html): 解析景点列表页提取基础信息与详情链接 :param html: 列表页HTML源码 :return: 景点信息列表每条数据为字典格式 # 实例化BeautifulSoup对象指定解析器为lxml soup BeautifulSoup(html, lxml) # 定位所有景点条目父标签 scenic_list soup.find_all(div, class_scenic-item) # 定义列表存储单页所有景点数据 page_data [] # 遍历每一个景点条目 for item in scenic_list: # 定义字典存储单个景点数据 scenic_info {} try: # 提取景点名称 name item.find(h3, class_scenic-name).get_text(stripTrue) scenic_info[景点名称] name # 提取所属地区 area item.find(span, class_scenic-area).get_text(stripTrue) scenic_info[所属地区] area # 提取景点等级 level item.find(span, class_scenic-level).get_text(stripTrue) scenic_info[景点等级] level # 提取门票价格 price item.find(div, class_scenic-price).get_text(stripTrue) scenic_info[门票价格] price # 提取开放时间 open_time item.find(div, class_scenic-time).get_text(stripTrue) scenic_info[开放时间] open_time # 提取详情页链接拼接完整URL detail_href item.find(a, class_detail-link)[href] if detail_href.startswith(http): detail_url detail_href else: detail_url https://www.traveldemo.com detail_href scenic_info[详情链接] detail_url # 将单条数据加入列表 page_data.append(scenic_info) except Exception as e: print(f解析单条景点数据失败异常信息{str(e)}) continue return page_data代码原理解析BeautifulSoup(html, lxml)传入网页源码与解析器名称创建解析对象soup此时 HTML 字符串会被转换为可遍历的树形节点结构所有标签、文本、属性都可以通过节点方法访问。soup.find_all(div, class_scenic-item)find_all方法用于批量查找所有符合条件的标签第一个参数为标签名class_参数根据 CSS 类名筛选标签使用 class_是因为 class 为 Python 保留关键字无法直接作为参数名。该语句会获取当前页面所有景点条目标签返回标签列表。循环遍历景点条目对每一个景点标签item单独解析使用字典scenic_info存储单个景点的所有字段字典键名对应采集字段方便后续写入 CSV 文件。find()方法与find_all不同find()只查找第一个符合条件的标签适用于单个字段提取。.get_text(stripTrue)用于提取标签内的纯文本内容stripTrue会自动去除文本首尾的空格、换行符、制表符等空白字符完成基础数据清洗。详情链接拼接网页中部分链接为相对路径不以 http 开头无法直接访问因此增加路径判断逻辑绝对路径直接使用相对路径拼接网站域名生成完整 URL保证详情链接可正常跳转。内部异常捕获单条景点数据解析失败时仅跳过当前条目并打印异常不会终止整个循环避免因某一个标签缺失导致整页数据采集中断。函数返回值返回当前页面所有景点的数据集格式为列表嵌套字典是结构化数据格式便于后续统一处理。4.5 详情页攻略数据解析函数封装通过列表页获取的详情链接二次请求详情页提取景点简介、游玩时长、最佳季节、交通指南、游玩贴士等攻略信息代码如下python运行def parse_detail_page(detail_url): 解析景点详情页提取完整旅游攻略信息 :param detail_url: 景点详情页链接 :return: 攻略信息字典 # 调用请求函数获取详情页源码 detail_html get_html(detail_url) # 延时等待降低请求频率 time.sleep(random.uniform(SLEEP_MIN, SLEEP_MAX)) # 初始化攻略字典 travel_strategy { 景点简介: , 游玩时长: , 最佳游玩季节: , 交通指南: , 游玩贴士: } # 若源码获取失败直接返回空字典 if not detail_html: return travel_strategy try: soup BeautifulSoup(detail_html, lxml) # 提取景点简介 intro soup.find(div, class_scenic-intro).get_text(stripTrue) travel_strategy[景点简介] intro # 提取游玩时长 play_time soup.find(span, class_play-time).get_text(stripTrue) travel_strategy[游玩时长] play_time # 提取最佳游玩季节 best_season soup.find(span, class_best-season).get_text(stripTrue) travel_strategy[最佳游玩季节] best_season # 提取交通指南 traffic soup.find(div, class_traffic-guide).get_text(stripTrue) travel_strategy[交通指南] traffic # 提取游玩贴士 tips soup.find(div, class_travel-tips).get_text(stripTrue) travel_strategy[游玩贴士] tips except Exception as e: print(f解析详情页 {detail_url} 失败异常{str(e)}) return travel_strategy代码原理解析函数接收详情页链接作为参数首先调用已封装的get_html函数获取详情页 HTML 源码实现功能复用。time.sleep(random.uniform(SLEEP_MIN, SLEEP_MAX))random.uniform(a,b)生成 [a,b] 区间内的随机浮点数配合time.sleep()实现随机时长延时。列表页与详情页属于连续请求增加延时可以进一步规避反爬检测。初始化攻略字典提前定义所有攻略字段并赋值为空字符串即使详情页解析失败最终数据字段也不会缺失保证 CSV 文件列数统一。空值判断若get_html返回None请求失败直接返回初始化后的空字典跳过解析逻辑。详情页节点解析沿用 BeautifulSoup 的find方法定位详情页专属标签提取攻略类长文本数据。长文本内容通常包含多段文字.get_text()会自动将标签内所有文本拼接为完整字符串满足简介、指南类文本采集需求。异常捕获捕获详情页解析过程中的各类错误打印异常链接与信息便于后续人工核查失效链接。4.6 CSV 数据存储函数封装封装数据写入函数统一管理 CSV 文件的创建、表头写入、逐行数据追加代码如下python运行def save_to_csv(all_data): 将采集完成的全量数据写入本地CSV文件 :param all_data: 整合后的完整数据集 # 定义CSV文件表头与采集字段一一对应 csv_header [ 景点名称, 所属地区, 景点等级, 门票价格, 开放时间, 景点简介, 游玩时长, 最佳游玩季节, 交通指南, 游玩贴士 ] # 以写入模式打开CSV文件指定编码为utf-8-sig解决Excel中文乱码 with open(SAVE_FILE, w, newline, encodingutf-8-sig) as f: # 创建CSV写入器 writer csv.DictWriter(f, fieldnamescsv_header) # 写入表头 writer.writeheader() # 遍历完整数据集逐行写入数据 for data in all_data: writer.writerow(data) print(f数据采集完成共采集 {len(all_data)} 条景点数据文件已保存至{SAVE_FILE})代码原理解析csv_header列表定义 CSV 文件的列名顺序与前文规划的采集字段完全一致是表格文件的表头。with open(...)上下文管理器Python 推荐的文件操作方式代码执行完毕后会自动关闭文件流无需手动调用close()方法避免文件占用、数据写入不全等问题。打开参数说明w文件打开模式为写入模式若文件已存在则清空原有内容重新写入若文件不存在则自动创建新文件。newlineCSV 文件专用参数用于消除 Windows 系统下换行符多余空行的问题是 CSV 写入的标准配置。encodingutf-8-sig编码设置utf-8编码的文件直接用 Excel 打开会出现中文乱码utf-8-sig会在文件头部添加编码标识完美兼容 Excel、WPS 等办公软件。csv.DictWriter字典写入器专门用于将字典格式的数据写入 CSV 文件fieldnames参数绑定表头列表字典的键必须与表头名称一一对应才能完成数据匹配写入。writer.writeheader()执行表头写入操作仅在文件开头执行一次。writer.writerow(data)逐行写入单条景点数据循环遍历全量数据集完成批量存储。收尾提示统计总数据条数并打印保存路径让开发者直观了解采集结果。4.7 主程序分页调度逻辑整合所有函数实现分页循环、数据整合、全流程调度这是程序的入口逻辑代码如下python运行def main(): 主函数程序入口 # 定义列表存储所有景点完整数据 total_data [] # 遍历指定页码区间 for page in range(START_PAGE, END_PAGE 1): print(f正在采集第 {page} 页数据...) # 拼接完整分页URL page_url BASE_URL str(page) # 获取列表页HTML源码 page_html get_html(page_url) if not page_html: print(f第 {page} 页请求失败跳过当前页码) continue # 解析列表页数据 page_scenic parse_list_page(page_html) # 遍历当前页每一个景点 for scenic in page_scenic: # 获取当前景点详情链接 detail_url scenic[详情链接] # 解析详情页攻略数据 strategy_data parse_detail_page(detail_url) # 合并基础信息与攻略信息去除详情链接字段 scenic.pop(详情链接) scenic.update(strategy_data) # 将整合后的数据加入总数据集 total_data.append(scenic) # 每页采集完成后添加随机延时 time.sleep(random.uniform(SLEEP_MIN, SLEEP_MAX)) # 所有页码采集完毕写入CSV文件 save_to_csv(total_data) # 程序运行入口判断 if __name__ __main__: main()代码原理解析main()为主函数是整个爬虫程序的调度中心所有功能函数均由主函数调用执行。total_data全局数据集列表用于存储所有页码、所有景点的完整整合数据贯穿整个采集流程。分页循环range(START_PAGE, END_PAGE 1)生成连续页码数字1是因为 Python 的 range 区间为左闭右开保证结束页码能够被正常遍历。URL 拼接将基础 URL 与页码数字拼接生成每一页的完整访问链接。页码容错处理若当前页码请求失败page_html为 None打印提示并使用continue跳过当前循环直接进入下一页采集。数据合并逻辑列表页解析得到的scenic字典包含景点基础信息与详情链接scenic.pop(详情链接)删除不需要存储的详情链接字段精简最终数据scenic.update(strategy_data)将详情页解析的攻略字典合并到基础信息字典中实现单条数据完整整合。页间延时单页所有景点采集完成后添加随机延时区分页内请求与页间请求模拟真实浏览行为。程序入口判断if __name__ __main__是 Python 标准入口写法只有直接运行当前文件时才会执行main()函数若该文件被其他代码作为模块导入则不会自动运行提升代码复用性。4.8 代码整体运行流程梳理将所有模块串联完整运行流程分为十个步骤程序启动执行main()主函数初始化总数据列表根据起止页码循环生成每一页的分页 URL调用get_html函数发送 GET 请求获取列表页 HTML 源码处理网络异常调用parse_list_page解析列表页提取景点基础信息与详情链接遍历当前页每一个景点取出详情链接调用parse_detail_page二次请求并解析详情页提取旅游攻略数据合并基础信息与攻略数据剔除冗余字段存入总数据集当前页所有景点采集完毕执行页间随机延时进入下一页所有页码遍历完成后调用save_to_csv函数将全量数据写入本地 CSV 文件打印采集结果与文件路径程序运行结束。五、数据清洗与进阶优化方案5.1 原始数据常见问题与清洗方法网页原始数据提取后常会出现格式杂乱、内容冗余、特殊符号过多等问题结合旅游数据场景整理常见问题与对应的 Python 字符串处理方案可在解析函数中追加清洗逻辑。多余空白字符标签嵌套导致文本出现大量空格、换行、制表符除了.get_text(stripTrue)基础清洗外可使用replace()方法二次清理python运行text text.replace(\n, ).replace(\t, )HTML 转义字符网页中nbsp;、amp;等转义字符可使用html内置模块进行反转义python运行import html text html.unescape(text)无效广告文本部分简介、贴士中夹杂广告话术可通过关键字匹配剔除指定内容结合字符串切片截取有效文本。空数据字段部分小众景点无门票、无游玩贴士字段为空属于正常现象代码中已提前初始化空字符串无需额外处理。5.2 反爬策略进阶优化本项目使用 UA 伪装 随机延时应对基础反爬针对防护等级更高的旅游网站可叠加以下优化方案多 UA 轮换构建 UA 列表每次请求随机选取一个 UA避免单一标识被识别。Cookie 携带部分网站需要登录 Cookie 才能访问完整内容可手动抓取 Cookie 并加入请求头。代理 IP 设置高频采集场景下使用代理 IP 池轮换 IP 地址解决 IP 封禁问题requests库支持 proxies 参数配置代理。请求方式模拟增加 Referer、Accept、Accept-Language 等请求头字段完整模拟浏览器请求特征。5.3 功能拓展方向基于当前基础爬虫框架可根据业务需求拓展更多实用功能自动获取总页码解析页面分页标签动态获取网站最大页码无需手动修改END_PAGE实现全站自动爬取。增量爬取读取本地已存在的 CSV 文件对比数据仅采集新增景点信息避免重复采集。数据入库将 CSV 存储改为 MySQL、SQLite、MongoDB 数据库存储适配大数据量存储与后续数据分析场景。多线程爬取引入threading多线程模块并发请求多个页面大幅提升采集速度适合海量数据场景。六、项目测试与问题排查6.1 本地运行测试步骤确认所有依赖库安装完成网络可正常访问目标旅游网站根据实际网页的标签名、class 类名修改代码中find、find_all方法内的标签参数适配真实页面结构修改BASE_URL为真实网站 URL调整START_PAGE与END_PAGE设置测试页码区间运行代码观察控制台输出日志查看每一页的采集状态、异常提示程序运行结束后在代码同级目录找到生成的 CSV 文件使用办公软件打开核对字段完整性、文本格式、中文显示是否正常。6.2 高频问题排查与解决方案表格问题现象排查原因解决方案网页请求返回 403 状态码未配置 UA被服务器识别为爬虫补充完整浏览器 User-Agent 请求头采集文本中文乱码编码设置错误请求处设置response.encodingutf-8文件写入使用utf-8-sig解析不到任何数据标签名、class 类名写错页面结构变动重新查看网页源码核对节点属性程序运行卡死无响应网络卡顿请求超时未配置增加 timeout 超时参数优化异常捕获详情链接无法访问相对路径未拼接域名增加路径判断逻辑拼接网站根域名CSV 文件出现大量空行文件打开未设置 newline 参数打开文件时添加newline参数七、项目总结本文完成了一套完整的景点介绍与旅游攻略爬虫项目开发从环境部署、网页分析、代码编写、原理拆解、数据存储、优化拓展到问题排查覆盖了静态网页爬虫从 0 到 1 的全流程开发逻辑。项目采用模块化编程思想将请求、解析、存储、调度功能拆分代码结构清晰、耦合度低具备较强的通用性与可维护性。从技术层面来看项目熟练运用requests完成网络请求、BeautifulSoup4lxml实现 HTML 节点解析结合 Python 内置模块完成延时控制、文件读写与异常处理同时针对中文乱码、反爬拦截、链接路径、数据清洗等爬虫开发经典问题给出标准化解决方案。从业务层面来看项目实现了旅游行业景点基础信息与攻略文本的结构化采集采集后的数据可直接用于文旅内容运营、出行推荐、行业数据分析等实际场景。本项目作为通用静态网页爬虫实战案例其核心开发思路不仅适用于旅游类网站经过简单修改标签规则、URL 参数、采集字段后可迁移至资讯、电商、生活服务等各类静态网页数据采集场景。开发者可基于现有框架结合多线程、代理 IP、数据库存储、增量爬取等进阶技术持续迭代打造功能更完善、性能更强的工业级爬虫程序。同时在爬虫使用过程中需遵守目标网站的 robots 协议与网络安全相关法律法规合理控制请求频率做到合规采集数据。
Python 爬虫项目：景点介绍与旅游攻略爬取
发布时间：2026/6/12 22:51:04
前言在文旅行业数字化发展的当下互联网中汇聚了海量景点介绍、游玩路线、游客评价、出行贴士等旅游攻略类数据这类数据不仅能为旅游平台内容运营、文旅行业市场分析、出行参考提供核心支撑也成为数据分析、人工智能训练的重要数据源。传统人工复制整理数据的方式效率低下、成本高昂且无法实现海量数据的实时更新与批量采集基于 Python 开发定向爬虫程序能够自动化完成网页请求、数据解析、内容提取与本地存储工作大幅提升数据采集效率。本文围绕旅游类网站景点及攻略数据采集场景展开完整实战开发从环境配置、核心库功能讲解、网页结构分析、代码编写、逻辑原理拆解、异常处理、数据持久化等维度进行全面讲解同时结合实战过程中常见的反爬机制、编码问题、分页爬取问题给出解决方案。本次项目开发所依赖的第三方库及官方资源链接如下 Python 官方下载地址、requests 库官方文档、BeautifulSoup4 官方文档、lxml 解析库下载与文档、csv 模块官方说明、time 模块官方文档。本项目适用于具备 Python 基础语法想要学习通用静态网页爬虫开发、数据解析与批量采集的开发者所编写的代码具备良好的可移植性与拓展性可根据不同旅游网站的页面结构进行简单修改后复用同时代码中融入工程化的异常捕获、请求延时、编码兼容等设计思路贴合实际生产环境中的爬虫开发规范。一、项目整体规划与需求分析1.1 项目采集目标本次爬虫项目选定主流旅游资讯类静态网页作为采集目标核心采集内容分为两大模块分别为景点基础信息与旅游攻略信息具体采集字段规划如下表所示。表格数据分类采集字段字段说明数据类型景点基础信息景点名称景区、公园、地标等完整名称字符串景点基础信息所属地区省、市、区县三级地域信息字符串景点基础信息景点等级A 级景区、网红景点、免费景点等标签字符串景点基础信息门票价格成人票、优待票、免票等价格信息字符串景点基础信息开放时间日常营业、节假日调整后的开放时段字符串景点基础信息景点简介官方介绍、历史背景、特色亮点文本字符串旅游攻略信息游玩时长推荐游览耗时字符串旅游攻略信息最佳游玩季节适合出行的月份、季节说明字符串旅游攻略信息交通指南公共交通、自驾路线等出行方式字符串旅游攻略信息游玩贴士注意事项、穿搭建议、消费提醒等字符串1.2 功能需求拆解结合采集目标将爬虫程序拆解为多个独立功能模块各模块各司其职且相互联动保障采集流程完整运行网络请求模块模拟浏览器向目标网站发送 HTTP 请求获取网页原始 HTML 源码处理请求超时、连接失败、状态码异常等网络问题。页面解析模块基于 HTML 源码定位目标数据节点提取表格、文本、标签等结构化与非结构化数据完成数据清洗与格式统一。分页遍历模块识别网站分页规则自动循环访问不同页码页面实现全页数据批量采集避免单页数据遗漏。数据存储模块将解析完成的结构化数据写入本地 CSV 文件实现数据持久化保证数据可读性与后续二次处理便利性。反爬应对模块设置请求头伪装浏览器身份、添加随机请求延时规避目标网站基础反爬策略降低 IP 被封禁风险。日志与异常模块捕获代码运行过程中的语法异常、解析异常、IO 异常输出异常提示信息保障程序持续运行。1.3 运行环境要求本项目基于 Python 3.7 及以上版本开发兼容 Windows、Linux、macOS 全平台操作系统运行前需完成基础环境与第三方库的安装配置。系统需保证网络正常连通能够正常访问目标旅游网站同时本地磁盘具备基础存储空间用于存放采集后的 CSV 数据文件。二、开发环境与依赖库安装详解2.1 Python 基础环境配置首先完成 Python 解释器的安装进入前文提供的Python 官方下载地址根据自身操作系统选择对应安装包Windows 系统推荐选择 Windows Installer 版本Linux 与 macOS 可选择对应源码包或系统适配安装包。安装过程中勾选 “Add Python to PATH” 自动配置环境变量安装完成后打开系统命令行工具输入python --version若正常输出版本号则代表基础环境配置成功。2.2 核心第三方库介绍与安装本项目主要使用requests、bs4(BeautifulSoup4)、lxml三大核心第三方库搭配 Python 内置csv、time、random模块完成全功能开发下文逐一说明库的作用、安装命令与核心特性。2.2.1 requests 库requests是 Python 生态中主流的 HTTP 请求库相较于 Python 内置的urllib模块其语法简洁、功能强大支持 GET、POST 等主流请求方式同时简化了请求头设置、Cookie 携带、超时配置、编码处理等操作是爬虫开发的首选网络请求库。打开命令行执行以下 pip 安装命令完成安装plaintextpip install requests安装完成后可在命令行输入pip show requests查看库版本、安装路径等信息验证安装结果。参考requests 库官方文档可学习该库的高级用法如会话保持、代理设置、文件上传等。2.2.2 BeautifulSoup4 与 lxml 解析库BeautifulSoup4简称 bs4是专门用于 HTML、XML 文档解析的库能够将复杂的网页源码转换为树形结构开发者可通过标签名、属性、选择器等方式快速定位页面元素、提取文本与属性值。BeautifulSoup4本身不具备解析能力需要依赖解析器工作lxml是目前性能最优、兼容性最强的 HTML/XML 解析器解析速度远高于 Python 内置的 html.parser因此本项目组合使用bs4 lxml作为解析方案。依次执行以下两条安装命令plaintextpip install beautifulsoup4 pip install lxml安装完成后可查阅BeautifulSoup4 官方文档与lxml 解析库下载与文档掌握节点定位、数据提取等核心语法。2.2.3 Python 内置模块说明项目中还使用三个 Python 标准内置模块无需额外安装随 Python 解释器自带csv 模块用于创建、写入 CSV 格式文件CSV 文件可直接使用 Excel、WPS 打开适合存储结构化表格数据详细用法参考csv 模块官方说明。time 模块实现程序延时功能模拟人类浏览网页的间隔时间规避网站反爬详情参考time 模块官方文档。random 模块配合 time 模块生成随机延时时间进一步提升请求行为的模拟度。三、目标网页结构分析爬虫开发的核心前提是精准分析目标网页的 HTML 结构明确数据所在的标签、类名、ID、层级关系才能编写对应的解析规则。本次选取典型静态旅游攻略网页作为分析对象整体页面分为顶部导航区、分页控制区、景点列表区、单景点详情区四大板块。3.1 网页请求方式分析打开浏览器进入目标旅游页面按下 F12 调出开发者工具切换至 Network 网络面板刷新页面后查看请求记录。列表中第一条请求即为当前页面的主请求请求方式为GET 请求请求 URL 存在明显的分页参数格式规则为https://xxx.com/travel?page页码页码从 1 开始依次递增这是实现分页爬取的核心依据。查看请求的 Request Headers 请求头信息网站会通过 User-Agent 字段识别客户端类型若检测到请求来自 Python 程序默认标识会直接拒绝访问因此爬虫程序中必须手动配置 User-Agent 伪装成浏览器。3.2 景点列表节点分析页面主体区域为景点列表每一个景点对应一组独立的 HTML 标签组合所有景点标签统一包裹在一个父级 div 标签内。单个景点的基础信息名称、地区、等级、门票、开放时间全部存放在 class 属性固定的 div、span 标签中标签层级固定、属性唯一可通过 BeautifulSoup 的类选择器精准定位。景点简介、游玩攻略等长文本内容部分直接展示在列表页部分需要进入景点详情页获取。本文分为两个采集阶段第一阶段采集列表页可见的基础字段第二阶段通过列表页中的详情链接二次请求详情页获取完整攻略文本。3.3 分页规则分析页面底部存在分页按钮点击不同页码观察 URL 变化可总结出分页参数规律URL 末尾page后的数字代表当前页码页面无总页码限制时可设置循环区间实现批量爬取若存在最大页码可先解析页面底部页码标签获取总页数再遍历全部页码避免无效请求。3.4 数据格式与干扰项分析网页中存在大量空白字符、换行符、HTML 转义字符、广告标签、无关链接等干扰内容原始提取的文本数据需要做清洗处理。例如文本前后多余空格、段落之间换行符、 空格转义字符等需通过字符串替换、去除首尾空格等操作统一数据格式保证存储后数据整洁规范。四、完整爬虫代码实现与逐行原理解析结合前文的环境配置、页面分析、功能规划分模块编写完整爬虫代码代码分为基础配置模块、请求函数模块、列表页解析模块、详情页解析模块、数据存储模块、主程序分页调度模块六大板块每段代码后附带详细原理讲解、功能说明与注意事项。4.1 整体代码框架与导入模块首先导入项目所需的全部库与模块这是所有代码运行的入口完整代码如下python运行# 导入网络请求库 import requests # 导入网页解析库 from bs4 import BeautifulSoup # 导入CSV文件操作模块 import csv # 导入时间模块实现请求延时 import time # 导入随机数模块生成随机延时 import random代码原理解析import requests引入第三方 HTTP 请求库后续所有网页访问、数据获取操作均依赖该库完成。from bs4 import BeautifulSoup从 bs4 库中单独导入 BeautifulSoup 解析类该类是解析 HTML 源码的核心入口无需导入 bs4 全库精简代码体积。import csv调用 Python 内置 CSV 模块负责创建文件、写入表头、逐行存储采集数据。import time与import random两个模块配合使用在两次网页请求之间添加随机间隔时间模拟真人浏览网页的行为降低目标网站反爬机制的触发概率是中小型爬虫必备的反爬基础手段。4.2 全局参数与请求头配置定义项目全局变量包含基础 URL、请求头、文件存储路径、请求延时区间等内容代码如下python运行# 目标网站基础URL分页参数后续拼接 BASE_URL https://www.traveldemo.com/scenic?page # 配置请求头伪装成谷歌浏览器规避基础反爬 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } # 定义数据存储的CSV文件路径 SAVE_FILE 旅游景点与攻略数据.csv # 随机延时区间1-3秒 SLEEP_MIN 1 SLEEP_MAX 3 # 设置爬取页码范围根据需求修改起止页码 START_PAGE 1 END_PAGE 10代码原理解析BASE_URL定义网站基础链接将可变的页码参数拆分出来后续循环时只需要拼接数字即可生成完整分页 URL提升代码复用性若更换同结构网站仅需修改基础 URL 即可。HEADERS请求头字典核心字段为User-Agent该字段用于标识客户端类型。Python requests 默认的 UA 标识会被多数旅游网站拦截因此手动填入真实浏览器的 UA 字符串欺骗服务器将爬虫识别为正常浏览器访问。除 UA 外部分网站还会校验 Referer、Cookie 等字段可根据实际反爬强度补充。SAVE_FILE指定本地存储文件名称与路径文件后缀为.csv后续 csv 模块会按照标准 CSV 格式写入数据。SLEEP_MIN与SLEEP_MAX限定随机延时的上下区间单位为秒每完成一次网页请求后程序会暂停随机时长避免短时间内高频请求造成服务器压力同时防止 IP 被临时封禁。START_PAGE与END_PAGE定义本次需要爬取的起始页码和结束页码开发者可根据数据量自由调整区间实现指定范围页码的定向采集。4.3 通用网页请求函数封装将网页请求逻辑封装为独立函数统一处理请求、超时、异常等问题代码如下python运行def get_html(url): 发送GET请求获取网页HTML源码 :param url: 目标网页链接 :return: 成功返回HTML源码失败返回None try: # 发送GET请求设置超时时间为10秒 response requests.get(url, headersHEADERS, timeout10) # 设置网页编码为UTF-8解决中文乱码问题 response.encoding utf-8 # 判断响应状态码200代表请求成功 if response.status_code 200: return response.text else: print(f请求失败状态码{response.status_code}链接{url}) return None except requests.exceptions.Timeout: print(f链接 {url} 请求超时) return None except requests.exceptions.ConnectionError: print(f链接 {url} 连接失败请检查网络或链接有效性) return None except Exception as e: print(f链接 {url} 出现未知异常{str(e)}) return None代码原理解析函数get_html接收唯一参数url即待访问的网页链接函数设计为通用请求接口列表页、详情页均可调用此函数获取源码实现代码解耦。requests.get()发送 HTTP GET 请求传入三个核心参数url为请求地址headers为伪装请求头timeout10设置请求超时时间若 10 秒内未收到服务器响应直接判定为请求超时避免程序卡死。response.encoding utf-8手动指定响应内容编码格式。多数中文网站使用 UTF-8 编码若不手动设置requests 会自动推测编码极易出现中文乱码这是中文网页爬虫必须处理的编码问题。状态码判断HTTP 协议中状态码200 OK代表请求完全成功服务器正常返回数据404 代表页面不存在、403 代表权限不足被拦截、500 代表服务器内部错误代码中对非 200 状态码进行打印提示方便开发者定位问题。多层异常捕获使用try...except异常捕获结构分类处理不同类型错误requests.exceptions.Timeout捕获请求超时异常多由网络延迟、服务器响应缓慢导致requests.exceptions.ConnectionError捕获连接失败异常常见于链接失效、网络断开、IP 被封禁通用Exception捕获其余所有未知异常保证单个链接出错不会导致整个爬虫程序终止运行提升程序健壮性。函数返回值请求成功返回网页 HTML 文本源码各类异常场景统一返回None上层调用函数可根据返回值判断是否继续解析数据。4.4 列表页数据解析函数封装编写列表页解析函数提取景点名称、地区、等级、门票、开放时间、详情页链接等数据代码如下python运行def parse_list_page(html): 解析景点列表页提取基础信息与详情链接 :param html: 列表页HTML源码 :return: 景点信息列表每条数据为字典格式 # 实例化BeautifulSoup对象指定解析器为lxml soup BeautifulSoup(html, lxml) # 定位所有景点条目父标签 scenic_list soup.find_all(div, class_scenic-item) # 定义列表存储单页所有景点数据 page_data [] # 遍历每一个景点条目 for item in scenic_list: # 定义字典存储单个景点数据 scenic_info {} try: # 提取景点名称 name item.find(h3, class_scenic-name).get_text(stripTrue) scenic_info[景点名称] name # 提取所属地区 area item.find(span, class_scenic-area).get_text(stripTrue) scenic_info[所属地区] area # 提取景点等级 level item.find(span, class_scenic-level).get_text(stripTrue) scenic_info[景点等级] level # 提取门票价格 price item.find(div, class_scenic-price).get_text(stripTrue) scenic_info[门票价格] price # 提取开放时间 open_time item.find(div, class_scenic-time).get_text(stripTrue) scenic_info[开放时间] open_time # 提取详情页链接拼接完整URL detail_href item.find(a, class_detail-link)[href] if detail_href.startswith(http): detail_url detail_href else: detail_url https://www.traveldemo.com detail_href scenic_info[详情链接] detail_url # 将单条数据加入列表 page_data.append(scenic_info) except Exception as e: print(f解析单条景点数据失败异常信息{str(e)}) continue return page_data代码原理解析BeautifulSoup(html, lxml)传入网页源码与解析器名称创建解析对象soup此时 HTML 字符串会被转换为可遍历的树形节点结构所有标签、文本、属性都可以通过节点方法访问。soup.find_all(div, class_scenic-item)find_all方法用于批量查找所有符合条件的标签第一个参数为标签名class_参数根据 CSS 类名筛选标签使用 class_是因为 class 为 Python 保留关键字无法直接作为参数名。该语句会获取当前页面所有景点条目标签返回标签列表。循环遍历景点条目对每一个景点标签item单独解析使用字典scenic_info存储单个景点的所有字段字典键名对应采集字段方便后续写入 CSV 文件。find()方法与find_all不同find()只查找第一个符合条件的标签适用于单个字段提取。.get_text(stripTrue)用于提取标签内的纯文本内容stripTrue会自动去除文本首尾的空格、换行符、制表符等空白字符完成基础数据清洗。详情链接拼接网页中部分链接为相对路径不以 http 开头无法直接访问因此增加路径判断逻辑绝对路径直接使用相对路径拼接网站域名生成完整 URL保证详情链接可正常跳转。内部异常捕获单条景点数据解析失败时仅跳过当前条目并打印异常不会终止整个循环避免因某一个标签缺失导致整页数据采集中断。函数返回值返回当前页面所有景点的数据集格式为列表嵌套字典是结构化数据格式便于后续统一处理。4.5 详情页攻略数据解析函数封装通过列表页获取的详情链接二次请求详情页提取景点简介、游玩时长、最佳季节、交通指南、游玩贴士等攻略信息代码如下python运行def parse_detail_page(detail_url): 解析景点详情页提取完整旅游攻略信息 :param detail_url: 景点详情页链接 :return: 攻略信息字典 # 调用请求函数获取详情页源码 detail_html get_html(detail_url) # 延时等待降低请求频率 time.sleep(random.uniform(SLEEP_MIN, SLEEP_MAX)) # 初始化攻略字典 travel_strategy { 景点简介: , 游玩时长: , 最佳游玩季节: , 交通指南: , 游玩贴士: } # 若源码获取失败直接返回空字典 if not detail_html: return travel_strategy try: soup BeautifulSoup(detail_html, lxml) # 提取景点简介 intro soup.find(div, class_scenic-intro).get_text(stripTrue) travel_strategy[景点简介] intro # 提取游玩时长 play_time soup.find(span, class_play-time).get_text(stripTrue) travel_strategy[游玩时长] play_time # 提取最佳游玩季节 best_season soup.find(span, class_best-season).get_text(stripTrue) travel_strategy[最佳游玩季节] best_season # 提取交通指南 traffic soup.find(div, class_traffic-guide).get_text(stripTrue) travel_strategy[交通指南] traffic # 提取游玩贴士 tips soup.find(div, class_travel-tips).get_text(stripTrue) travel_strategy[游玩贴士] tips except Exception as e: print(f解析详情页 {detail_url} 失败异常{str(e)}) return travel_strategy代码原理解析函数接收详情页链接作为参数首先调用已封装的get_html函数获取详情页 HTML 源码实现功能复用。time.sleep(random.uniform(SLEEP_MIN, SLEEP_MAX))random.uniform(a,b)生成 [a,b] 区间内的随机浮点数配合time.sleep()实现随机时长延时。列表页与详情页属于连续请求增加延时可以进一步规避反爬检测。初始化攻略字典提前定义所有攻略字段并赋值为空字符串即使详情页解析失败最终数据字段也不会缺失保证 CSV 文件列数统一。空值判断若get_html返回None请求失败直接返回初始化后的空字典跳过解析逻辑。详情页节点解析沿用 BeautifulSoup 的find方法定位详情页专属标签提取攻略类长文本数据。长文本内容通常包含多段文字.get_text()会自动将标签内所有文本拼接为完整字符串满足简介、指南类文本采集需求。异常捕获捕获详情页解析过程中的各类错误打印异常链接与信息便于后续人工核查失效链接。4.6 CSV 数据存储函数封装封装数据写入函数统一管理 CSV 文件的创建、表头写入、逐行数据追加代码如下python运行def save_to_csv(all_data): 将采集完成的全量数据写入本地CSV文件 :param all_data: 整合后的完整数据集 # 定义CSV文件表头与采集字段一一对应 csv_header [ 景点名称, 所属地区, 景点等级, 门票价格, 开放时间, 景点简介, 游玩时长, 最佳游玩季节, 交通指南, 游玩贴士 ] # 以写入模式打开CSV文件指定编码为utf-8-sig解决Excel中文乱码 with open(SAVE_FILE, w, newline, encodingutf-8-sig) as f: # 创建CSV写入器 writer csv.DictWriter(f, fieldnamescsv_header) # 写入表头 writer.writeheader() # 遍历完整数据集逐行写入数据 for data in all_data: writer.writerow(data) print(f数据采集完成共采集 {len(all_data)} 条景点数据文件已保存至{SAVE_FILE})代码原理解析csv_header列表定义 CSV 文件的列名顺序与前文规划的采集字段完全一致是表格文件的表头。with open(...)上下文管理器Python 推荐的文件操作方式代码执行完毕后会自动关闭文件流无需手动调用close()方法避免文件占用、数据写入不全等问题。打开参数说明w文件打开模式为写入模式若文件已存在则清空原有内容重新写入若文件不存在则自动创建新文件。newlineCSV 文件专用参数用于消除 Windows 系统下换行符多余空行的问题是 CSV 写入的标准配置。encodingutf-8-sig编码设置utf-8编码的文件直接用 Excel 打开会出现中文乱码utf-8-sig会在文件头部添加编码标识完美兼容 Excel、WPS 等办公软件。csv.DictWriter字典写入器专门用于将字典格式的数据写入 CSV 文件fieldnames参数绑定表头列表字典的键必须与表头名称一一对应才能完成数据匹配写入。writer.writeheader()执行表头写入操作仅在文件开头执行一次。writer.writerow(data)逐行写入单条景点数据循环遍历全量数据集完成批量存储。收尾提示统计总数据条数并打印保存路径让开发者直观了解采集结果。4.7 主程序分页调度逻辑整合所有函数实现分页循环、数据整合、全流程调度这是程序的入口逻辑代码如下python运行def main(): 主函数程序入口 # 定义列表存储所有景点完整数据 total_data [] # 遍历指定页码区间 for page in range(START_PAGE, END_PAGE 1): print(f正在采集第 {page} 页数据...) # 拼接完整分页URL page_url BASE_URL str(page) # 获取列表页HTML源码 page_html get_html(page_url) if not page_html: print(f第 {page} 页请求失败跳过当前页码) continue # 解析列表页数据 page_scenic parse_list_page(page_html) # 遍历当前页每一个景点 for scenic in page_scenic: # 获取当前景点详情链接 detail_url scenic[详情链接] # 解析详情页攻略数据 strategy_data parse_detail_page(detail_url) # 合并基础信息与攻略信息去除详情链接字段 scenic.pop(详情链接) scenic.update(strategy_data) # 将整合后的数据加入总数据集 total_data.append(scenic) # 每页采集完成后添加随机延时 time.sleep(random.uniform(SLEEP_MIN, SLEEP_MAX)) # 所有页码采集完毕写入CSV文件 save_to_csv(total_data) # 程序运行入口判断 if __name__ __main__: main()代码原理解析main()为主函数是整个爬虫程序的调度中心所有功能函数均由主函数调用执行。total_data全局数据集列表用于存储所有页码、所有景点的完整整合数据贯穿整个采集流程。分页循环range(START_PAGE, END_PAGE 1)生成连续页码数字1是因为 Python 的 range 区间为左闭右开保证结束页码能够被正常遍历。URL 拼接将基础 URL 与页码数字拼接生成每一页的完整访问链接。页码容错处理若当前页码请求失败page_html为 None打印提示并使用continue跳过当前循环直接进入下一页采集。数据合并逻辑列表页解析得到的scenic字典包含景点基础信息与详情链接scenic.pop(详情链接)删除不需要存储的详情链接字段精简最终数据scenic.update(strategy_data)将详情页解析的攻略字典合并到基础信息字典中实现单条数据完整整合。页间延时单页所有景点采集完成后添加随机延时区分页内请求与页间请求模拟真实浏览行为。程序入口判断if __name__ __main__是 Python 标准入口写法只有直接运行当前文件时才会执行main()函数若该文件被其他代码作为模块导入则不会自动运行提升代码复用性。4.8 代码整体运行流程梳理将所有模块串联完整运行流程分为十个步骤程序启动执行main()主函数初始化总数据列表根据起止页码循环生成每一页的分页 URL调用get_html函数发送 GET 请求获取列表页 HTML 源码处理网络异常调用parse_list_page解析列表页提取景点基础信息与详情链接遍历当前页每一个景点取出详情链接调用parse_detail_page二次请求并解析详情页提取旅游攻略数据合并基础信息与攻略数据剔除冗余字段存入总数据集当前页所有景点采集完毕执行页间随机延时进入下一页所有页码遍历完成后调用save_to_csv函数将全量数据写入本地 CSV 文件打印采集结果与文件路径程序运行结束。五、数据清洗与进阶优化方案5.1 原始数据常见问题与清洗方法网页原始数据提取后常会出现格式杂乱、内容冗余、特殊符号过多等问题结合旅游数据场景整理常见问题与对应的 Python 字符串处理方案可在解析函数中追加清洗逻辑。多余空白字符标签嵌套导致文本出现大量空格、换行、制表符除了.get_text(stripTrue)基础清洗外可使用replace()方法二次清理python运行text text.replace(\n, ).replace(\t, )HTML 转义字符网页中nbsp;、amp;等转义字符可使用html内置模块进行反转义python运行import html text html.unescape(text)无效广告文本部分简介、贴士中夹杂广告话术可通过关键字匹配剔除指定内容结合字符串切片截取有效文本。空数据字段部分小众景点无门票、无游玩贴士字段为空属于正常现象代码中已提前初始化空字符串无需额外处理。5.2 反爬策略进阶优化本项目使用 UA 伪装 随机延时应对基础反爬针对防护等级更高的旅游网站可叠加以下优化方案多 UA 轮换构建 UA 列表每次请求随机选取一个 UA避免单一标识被识别。Cookie 携带部分网站需要登录 Cookie 才能访问完整内容可手动抓取 Cookie 并加入请求头。代理 IP 设置高频采集场景下使用代理 IP 池轮换 IP 地址解决 IP 封禁问题requests库支持 proxies 参数配置代理。请求方式模拟增加 Referer、Accept、Accept-Language 等请求头字段完整模拟浏览器请求特征。5.3 功能拓展方向基于当前基础爬虫框架可根据业务需求拓展更多实用功能自动获取总页码解析页面分页标签动态获取网站最大页码无需手动修改END_PAGE实现全站自动爬取。增量爬取读取本地已存在的 CSV 文件对比数据仅采集新增景点信息避免重复采集。数据入库将 CSV 存储改为 MySQL、SQLite、MongoDB 数据库存储适配大数据量存储与后续数据分析场景。多线程爬取引入threading多线程模块并发请求多个页面大幅提升采集速度适合海量数据场景。六、项目测试与问题排查6.1 本地运行测试步骤确认所有依赖库安装完成网络可正常访问目标旅游网站根据实际网页的标签名、class 类名修改代码中find、find_all方法内的标签参数适配真实页面结构修改BASE_URL为真实网站 URL调整START_PAGE与END_PAGE设置测试页码区间运行代码观察控制台输出日志查看每一页的采集状态、异常提示程序运行结束后在代码同级目录找到生成的 CSV 文件使用办公软件打开核对字段完整性、文本格式、中文显示是否正常。6.2 高频问题排查与解决方案表格问题现象排查原因解决方案网页请求返回 403 状态码未配置 UA被服务器识别为爬虫补充完整浏览器 User-Agent 请求头采集文本中文乱码编码设置错误请求处设置response.encodingutf-8文件写入使用utf-8-sig解析不到任何数据标签名、class 类名写错页面结构变动重新查看网页源码核对节点属性程序运行卡死无响应网络卡顿请求超时未配置增加 timeout 超时参数优化异常捕获详情链接无法访问相对路径未拼接域名增加路径判断逻辑拼接网站根域名CSV 文件出现大量空行文件打开未设置 newline 参数打开文件时添加newline参数七、项目总结本文完成了一套完整的景点介绍与旅游攻略爬虫项目开发从环境部署、网页分析、代码编写、原理拆解、数据存储、优化拓展到问题排查覆盖了静态网页爬虫从 0 到 1 的全流程开发逻辑。项目采用模块化编程思想将请求、解析、存储、调度功能拆分代码结构清晰、耦合度低具备较强的通用性与可维护性。从技术层面来看项目熟练运用requests完成网络请求、BeautifulSoup4lxml实现 HTML 节点解析结合 Python 内置模块完成延时控制、文件读写与异常处理同时针对中文乱码、反爬拦截、链接路径、数据清洗等爬虫开发经典问题给出标准化解决方案。从业务层面来看项目实现了旅游行业景点基础信息与攻略文本的结构化采集采集后的数据可直接用于文旅内容运营、出行推荐、行业数据分析等实际场景。本项目作为通用静态网页爬虫实战案例其核心开发思路不仅适用于旅游类网站经过简单修改标签规则、URL 参数、采集字段后可迁移至资讯、电商、生活服务等各类静态网页数据采集场景。开发者可基于现有框架结合多线程、代理 IP、数据库存储、增量爬取等进阶技术持续迭代打造功能更完善、性能更强的工业级爬虫程序。同时在爬虫使用过程中需遵守目标网站的 robots 协议与网络安全相关法律法规合理控制请求频率做到合规采集数据。
相关文章
告别线上会议杂音！手把手教你用Python+WebRTC实现音频3A降噪（附代码）
告别线上会议杂音！手把手教你用PythonWebRTC实现音频3A降噪（附代码）视频会议中突然响起的键盘声、空调嗡嗡声或是突如其来的回声，总是让人眉头一皱。作为开发者，我们完全可以用代码解决这些恼人的音频问题。今天就用Py…
Win10/11 一键换版本，小工具就能搞定！
很多人买电脑或者重装系统之后，都会遇到一个挺现实的问题：Windows版本选得不太合适。比如一开始用的是家庭版，后面才发现有些系统级功能用不了；或者升级到Win11之后，用了一段时间发现操作逻辑不太顺手，又开…
联想平板 ZUI 日历深度玩法！不止看日期，时间管理全靠它
拿到联想平板后，大家常会下载各类娱乐、学习软件，却很少留意系统自带的日历 App。在不少人的认知里，日历就只能看看日期、节气，功能单一没必要深究。但实际上联想 ZUI 系统搭载的日历远不止于此，你可以用它记录亲友生日…
别再只会打包了！深入Pyinstaller内部：手动拆解EXE并理解其打包结构
逆向工程视角：PyInstaller打包机制深度解构与实战拆解当Python开发者第一次使用PyInstaller将脚本打包成独立可执行文件时，往往会被其"黑盒魔法"所震撼。但真正资深的开发者不会止步于此——他们会像外科医生解剖人体一样，拆解这个…
SpringBoot+Vue +游戏交易系统管理平台源码【适合毕设/课设/学习】Java+MySQL
系统架构设计 SpringBoot任务分发管理系统采用分层架构设计，主要包含以下模块： 核心模块划分 任务管理模块：负责任务的创建、分配、状态追踪权限控制模块：基于RBAC模型的权限管理系统工作流引擎：使用Activiti或Flowabl…
Java 中 List 局部反转方法
目录 一、需求说明 1. 原生手动交换（最通用，推荐） 2. 借助 Collections 工具类（简洁） 关键注意点 3. Java 8 Stream 写法（不修改原列表，返回新集合） 总结选型 这里介绍 Java 中…
基于SpringBoot+Vue的中山社区医疗综合服务平台管理系统设计与实现【Java+MySQL+MyBatis完整源码】
系统架构设计 SpringBoot任务分发管理系统采用分层架构设计，主要包含以下模块： 核心模块划分 任务管理模块：负责任务的创建、分配、状态追踪权限控制模块：基于RBAC模型的权限管理系统工作流引擎：使用Activiti或Flowabl…
别再死记硬背了！用Python的Matplotlib动画，5分钟可视化理解三角函数和差公式
用Python动画破解三角函数：5分钟可视化掌握和差公式三角函数和差公式是数学学习中的经典难点，传统教学往往依赖静态几何图形和抽象符号推导，让许多学习者陷入死记硬背的困境。今天我们将用Python的Matplotlib库，通过动态可视化手段…
Okbiye AI 写作｜毕业论文一站式智能创作平台，从开题到终稿全流程省心护航
okbiye-免费查重复率aigc检测/开题报告/毕业论文/智能排版/文献综述/AI PPT毕业论文 - Okbiye智能写作https://www.okbiye.com/ai/bylw 一、高校毕业生论文撰写多重困局，传统写作模式压力拉满 每年毕业季，撰写完整毕业论文是所有本科生、研究生必须跨过…
【课程设计/毕业设计】基于 SpringBoot 的患者就诊信息管理系统的设计与实现 基于 SpringBoot 的医生接诊与处方管理系统的设计与实现【附源码、数据库、万字文档】
博主介绍：✌️码农一枚 ，专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围：&am…
numb.nvim 常见问题解答：从安装到使用的 10 个实用技巧
numb.nvim 常见问题解答：从安装到使用的 10 个实用技巧 【免费下载链接】numb.nvim Peek lines just when you intend 项目地址: https://gitcode.com/gh_mirrors/nu/numb.nvim numb.nvim 是 Neovim 编辑器中最实用的预览插件之一，它能在你输入 :…
从MOS管到变压器：手把手教你用LTspice仿真分析功率器件中的寄生电容效应
从MOS管到变压器：用LTspice深度解析功率器件寄生电容效应当你在调试一个Buck变换器时，是否遇到过开关波形出现异常振铃？或者发现效率比理论计算低了5%却找不到原因？这些问题的罪魁祸首往往就藏在那些看不见的寄生电容里。作为硬件…
LED驱动技术全解析：从核心架构到实战选型与避坑指南
1. 从一颗灯珠到千亿市场：LED驱动的技术演进与商业逻辑十几年前，当我第一次从料盘上拿起一颗0603封装的白色LED时，它微弱的光晕和高达几块钱的单颗成本，让我很难想象今天它几乎照亮了我们生活的每一个角落。从手机屏幕的一抹背光&…
索引堆及其优化
索引堆及其优化 引言 索引堆是一种数据结构，广泛应用于计算机科学和软件工程领域。它主要用于解决优先队列问题，如最小堆和最大堆。本文将详细介绍索引堆的概念、实现方法以及优化策略。 索引堆的定义 索引堆是一种基于堆数据结构的索引机制。它通过维护一个堆来存储数据…
从零到日增237精准粉丝，我靠CSDN这张AI卡片爆了！手把手复刻全流程，含配置避坑清单
更多请点击： https://intelliparadigm.com 第一章：CSDN AI 数字营销的官方引流卡片是什么功能？ CSDN AI 数字营销平台推出的「官方引流卡片」，是一种面向技术创作者的轻量级、可嵌入式内容分发组件，专为提升博文、教程…
Zotero Duplicates Merger：5步彻底清理文献库重复条目
Zotero Duplicates Merger：5步彻底清理文献库重复条目 【免费下载链接】ZoteroDuplicatesMerger A zotero plugin to automatically merge duplicate items 项目地址: https://gitcode.com/gh_mirrors/zo/ZoteroDuplicatesMerger 还在为文献库中堆积如山的重…
利用随机有限集理论对蜂群的ILQR和MPC控制研究附Matlab代码
✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页：Matlab科研工作室🍊个人信条：格物致知,完整Matlab代码及仿真咨询…
为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因
更多请点击： https://intelliparadigm.com 第一章：为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因 Gemini邮件的客户转化效率（CTE）显著偏低，根本原因常被误判为…