Python+AI构建智能豆瓣电影数据采集与分析系统

1. 项目概述AI驱动的豆瓣电影榜单解析系统最近在做一个挺有意思的实战项目——用Python结合AI技术来自动抓取和解析豆瓣电影榜单。这个需求源于我平时做影视数据分析时经常需要获取最新的电影评分和评论数据。传统爬虫虽然能获取基础信息但对于影评情感分析、电影类型识别这些高级需求就显得力不从心了。这个项目主要解决三个核心问题如何稳定高效地抓取豆瓣电影Top250榜单数据如何用AI技术增强数据解析能力比如自动生成电影摘要如何构建端到端的自动化数据处理流水线适合对Python爬虫和AI应用感兴趣的开发者特别是想学习如何将传统爬虫升级为智能数据采集系统的朋友。最终实现的系统不仅能获取基础电影信息还能自动分析影评情感倾向、识别电影类型标签甚至生成简洁的电影推荐摘要。2. 技术方案设计与核心组件2.1 整体架构设计系统采用分层架构主要分为四个模块数据采集层使用ScrapyRequests处理网页抓取数据解析层BeautifulSoup自定义解析器提取结构化数据AI增强层集成NLP模型进行文本分析和内容生成数据存储层MongoDBCSV双存储方案特别注意豆瓣有反爬机制需要控制请求频率建议2-3秒/次并使用随机User-Agent2.2 关键技术选型解析爬虫框架对比选择RequestsBeautifulSoup轻量但缺少自动化能力Scrapy完整的爬虫框架自带中间件和管道系统Selenium适合动态渲染页面但资源消耗大最终选择Scrapy作为基础框架因为内置的自动重试机制能应对短暂封禁Middleware可以方便地实现代理轮换Item Pipeline天然支持数据清洗和存储AI组件选型文本摘要选用ChatGLM2-6B本地化部署情感分析使用百度ERNIE 3.0 API实体识别HanLP开源工具包3. 核心实现步骤详解3.1 环境准备与依赖安装首先创建Python虚拟环境推荐3.8版本python -m venv douban_ai source douban_ai/bin/activate # Linux/Mac douban_ai\Scripts\activate # Windows安装核心依赖库pip install scrapy beautifulsoup4 pymongo pandas pip install transformers4.33.3 # 用于本地AI模型3.2 豆瓣页面解析实战分析豆瓣Top250页面结构发现每部电影包裹在div classitem中电影标题位于span classtitle评分在span classrating_num详情页链接在a href...编写XPath提取规则示例def parse_movie(response): for movie in response.xpath(//div[classitem]): yield { title: movie.xpath(.//span[classtitle]/text()).get(), rating: movie.xpath(.//span[classrating_num]/text()).get(), detail_url: movie.xpath(.//a/href).get() }3.3 AI增强功能实现影评情感分析实现from ernie import ErnieBot def analyze_sentiment(text): ernie ErnieBot(api_keyYOUR_KEY) prompt f判断以下影评情感倾向(正面/中性/负面):\n{text} response ernie.chat(prompt) return response[result]电影摘要生成代码from transformers import AutoTokenizer, AutoModel tokenizer AutoTokenizer.from_pretrained(THUDM/chatglm2-6b, trust_remote_codeTrue) model AutoModel.from_pretrained(THUDM/chatglm2-6b, trust_remote_codeTrue).half().cuda() def generate_summary(title, reviews): prompt f根据以下影评为《{title}》生成100字摘要:\n{.join(reviews)} response, _ model.chat(tokenizer, prompt, history[]) return response4. 高级技巧与优化方案4.1 反反爬虫策略IP代理池构建使用免费代理网站如西刺代理通过Scrapy中间件实现自动切换class RandomProxyMiddleware: def process_request(self, request, spider): proxy random.choice(PROXY_LIST) request.meta[proxy] fhttp://{proxy}请求头随机化准备多个User-Agent轮换使用动态生成Referer等头部信息4.2 数据存储优化采用MongoDB分片集群存储历史数据设计文档结构{ _id: ObjectId(...), title: 肖申克的救赎, rating: 9.7, reviews: [ { content: 经典之作..., sentiment: positive, keywords: [希望, 自由] } ], ai_summary: 一部关于希望与救赎的经典..., update_time: ISODate(...) }同时导出CSV供数据分析使用df.to_csv(movies.csv, columns[title,rating,sentiment_score], indexFalse)5. 常见问题与解决方案5.1 封禁应对方案现象返回403状态码或验证码页面解决方法立即暂停爬虫至少30分钟检查当前IP是否被ban通过浏览器直接访问更换User-Agent和代理IP降低请求频率至5秒/页5.2 数据解析异常处理常见问题字段缺失如某些电影无评分HTML结构变动导致解析失败健壮性增强代码rating movie.xpath(.//span[classrating_num]/text()).get() if not rating: rating movie.xpath(.//em/text()).get() or N/A5.3 AI处理性能优化当处理大量影评时建议使用批量推理模式对短文本进行合并处理实现缓存机制避免重复分析from functools import lru_cache lru_cache(maxsize1000) def cached_sentiment(text): return analyze_sentiment(text)6. 项目扩展方向实时监控系统定时爬取榜单变化邮件通知排名变动推荐系统集成基于用户历史评分实现个性化推荐可视化看板使用Pyecharts生成动态图表展示评分分布随时间变化from pyecharts.charts import Bar bar Bar() bar.add_xaxis(genres) bar.add_yaxis(平均评分, avg_ratings) bar.render(movie_rating.html)这个项目最让我惊喜的是AI摘要生成的质量。实测对经典电影的摘要准确度很高比如为《霸王别姬》生成的总结能准确抓住时代洪流中个人命运这个核心主题。不过要注意处理较新的电影时由于训练数据有限可能需要人工校对。