1. 项目概述当AI训练遇上数据采集瓶颈最近在做一个AI模型训练项目最头疼的不是调参而是找数据。模型要喂得好数据质量是关键。但现实是公开数据集往往不够用或者领域不匹配自己动手采集又是个大工程。网页数据尤其是那些需要交互比如登录、点击、滚动加载的动态内容用传统的爬虫框架像Scrapy、BeautifulSoup去抓简直是一场与反爬机制的持久战。你得处理JavaScript渲染、应对IP封禁、模拟人类行为一套组合拳下来开发维护成本高得吓人。这时候一个专门为这类复杂场景设计的工具就显得尤为重要。我最近深度体验了Bright Data的Scraping Browser它本质上是一个被高度自动化和管理起来的浏览器环境专门为大规模、稳定的网络数据采集而打造。你可以把它理解为一个“超级浏览器”它运行在云端你可以通过代码像遥控器一样精确控制它访问任何网页、执行任何操作同时它帮你处理好了所有底层反爬的麻烦事。这个项目的核心就是探索如何利用Scraping Browser将AI数据收集这个最耗时的环节变得高效、可靠且易于集成。对于AI工程师、数据科学家或者任何需要从现代复杂网站尤其是单页应用SPA、社交平台、电商网站获取结构化数据的朋友来说这绝对是一个能极大提升生产力的利器。它解决的不仅仅是“抓到数据”更是“稳定、高效、规模化地抓到高质量数据”。2. 核心思路与方案选型为什么是Scraping Browser在决定使用Scraping Browser之前我系统性地评估和对比了几种主流的数据采集方案。理解这些方案的差异是做出正确技术选型的基础。2.1 传统爬虫方案的局限最经典的方法是使用Requests BeautifulSoup/PyQuery的组合。它的优点是轻量、快速对于纯静态HTML页面非常有效。但如今互联网上超过70%的网站都重度依赖JavaScript来动态加载内容。一个商品列表你直接用Requests去抓可能只能拿到一个空的div真正的数据需要通过后续的AJAX请求获取。这时候就需要用到Selenium或Playwright这类浏览器自动化工具。Selenium/Playwright能驱动真实浏览器完美解决JS渲染问题。但随之而来的是一系列新挑战资源开销大每个爬虫实例都要启动一个完整的浏览器进程内存和CPU消耗巨大难以规模化。指纹暴露浏览器的WebDriver特征、窗口大小、插件列表等很容易被网站检测到导致被标记为机器人。IP管理复杂大规模采集必须使用代理IP池并且要处理代理的认证、失效切换与浏览器实例的绑定非常繁琐。稳定性维护需要自己处理浏览器崩溃、内存泄漏、页面加载超时、元素定位失败等异常代码健壮性要求高。我曾维护过一个基于Playwright的分布式爬虫集群超过30%的代码都在处理各种边缘情况和反爬对抗心力交瘁。2.2 Scraping Browser的差异化优势Bright Data的Scraping Browser提供了一个“浏览器即服务”的解决方案。它将一个经过深度优化和伪装的Chrome浏览器运行在云端并通过WebSocket协议对外提供标准的CDPChrome DevTools Protocol接口。这意味着你可以用你熟悉的Playwright或Puppeteer库的代码去连接和控制这个远程浏览器而无需管理浏览器本身。它的核心优势在于开箱即用的反爬绕过这是最大的卖点。Bright Data在底层集成了其庞大的代理IP网络住宅IP、数据中心IP、移动IP、自动的浏览器指纹伪装Canvas, WebGL, AudioContext, Fonts等、以及智能的请求调度。你基本不需要关心“如何不被封”它已经帮你处理了大部分常见和高级的反爬策略。无状态会话管理每个浏览器实例都是全新的、干净的没有Cookie、LocalStorage的历史包袱确保每次采集的独立性也避免了因会话污染导致的数据偏差。规模化与弹性由于浏览器运行在云端你可以根据需求瞬间启动数十甚至上百个并发实例采集完成后立即释放按使用量付费。这比自建浏览器集群的成本和运维复杂度低得多。简化集成直接使用Playwright/Puppeteer API学习成本极低。你现有的爬虫脚本只需修改一下浏览器连接方式就能无缝迁移立即获得抗反爬能力。注意Scraping Browser并非“魔法”它不能、也不应该用于违反网站服务条款或法律法规的数据采集。它的价值在于为合规的、大规模的公开数据收集提供了一个稳定可靠的基础设施让你能将精力聚焦在数据解析和业务逻辑上而非与反爬机制无休止的对抗。2.3 我们的AI数据收集场景适配对于AI项目数据收集的需求通常是领域特定需要从垂直行业网站如医疗论坛、法律文档库、电商评论收集语料。规模要求大需要成千上万的样本用于预训练或微调。质量要求高需要相对干净、结构化的文本、图片或元数据。持续性可能需要定期如每天收集最新数据以更新模型。Scraping Browser非常适合这类场景。例如收集电商产品描述和评论来训练商品推荐模型抓取技术问答社区如Stack Overflow的问答对来构建代码助手或者从新闻网站收集特定主题的文章来训练文本分类器。它的稳定性和规模化能力确保了数据管道的可靠这是AI项目数据基础的生命线。3. 环境准备与核心工具链搭建工欲善其事必先利其器。使用Scraping Browser整个工具链非常简洁核心就是你的代码和Bright Data的服务。3.1 前期准备工作首先你需要在Bright Data官网注册账号并开通服务。在控制台中找到Scraping Browser产品创建一个“访问凭证”。这个凭证通常包含主机名Host 类似brd.superproxy.io端口Port 通常是9222用户名Username 你的Bright Data账号相关的用户名密码Password 自动生成的认证密码这些信息是后续通过Playwright连接云浏览器的关键。Bright Data通常提供免费额度供试用足够进行初步的可行性验证。3.2 本地开发环境配置我强烈推荐使用Python的Playwright库因为它对异步支持好API现代且与Scraping Browser的CDP接口兼容性极佳。创建虚拟环境这是保持项目依赖纯净的好习惯。python -m venv venv source venv/bin/activate # Linux/macOS # 或 venv\Scripts\activate # Windows安装Playwrightpip install playwright playwright install chromium # 安装Chromium浏览器驱动虽然我们用云端浏览器但本地库需要这里安装的chromium驱动主要用于本地测试和API调用不会与云端浏览器冲突。组织项目结构一个清晰的结构有助于管理复杂的采集任务。ai_data_collector/ ├── config.py # 存放Bright Data认证信息、目标URL列表等配置 ├── scraper.py # 核心采集逻辑 ├── parsers/ # 不同网站的解析器模块 │ ├── __init__.py │ ├── ecommerce.py │ └── forum.py ├── utils/ # 工具函数如日志、数据清洗、存储 └── requirements.txt # 项目依赖编写配置文件将敏感信息放在配置文件中不要硬编码在脚本里。config.py内容如下# config.py BRIGHT_DATA_HOST brd.superproxy.io BRIGHT_DATA_PORT 9222 BRIGHT_DATA_USER your-username-here BRIGHT_DATA_PASS your-password-here # 构造代理连接字符串 def get_bright_data_ws_url(): return fwss://{BRIGHT_DATA_USER}:{BRIGHT_DATA_PASS}{BRIGHT_DATA_HOST}:{BRIGHT_DATA_PORT}3.3 核心连接逻辑剖析与Scraping Browser建立连接的核心是使用Playwright的browser_type.connect_over_cdp方法连接到一个WebSocket端点。这个端点就是由Bright Data提供的、已经启动并配置好反爬措施的浏览器实例。# scraper.py 核心连接片段 import asyncio from playwright.async_api import async_playwright from config import get_bright_data_ws_url async def create_browser(): async with async_playwright() as p: # 关键步骤连接到远程的Scraping Browser实例 browser await p.chromium.connect_over_cdp(get_bright_data_ws_url()) return browser这里有一个非常重要的实操细节connect_over_cdp建立的是一个持久的远程连接。你不需要、也不应该频繁地创建和关闭这个连接。最佳实践是对于一个采集会话比如抓取一个网站的所有分页复用同一个browser对象然后在这个browser下创建多个context上下文和page页面。每个context是独立的会话隔离Cookie、缓存适合并行处理不同任务或避免状态交叉。4. 实战构建一个健壮的AI数据采集器理论讲完我们进入实战。假设我们要为一个“产品评论情感分析模型”收集数据目标网站是一个大型电商平台我们以“example-shop.com”代称。我们需要收集商品名称、价格、评论内容、评分和评论日期。4.1 目标分析与页面结构解析首先手动打开目标网站用浏览器的开发者工具F12分析页面结构。列表页 找到商品列表的URL模式例如https://example-shop.com/category/electronics?page2。观察列表是如何加载的直接HTML分页滚动加载。详情页 点击一个商品进入详情页。找到评论区域的HTML结构。评论是直接加载的吗还是点击“查看更多评论”后通过API加载查看Network面板找到获取评论数据的真实API接口通常是XHR/Fetch请求返回JSON格式。如果能直接调用API效率将远高于解析页面HTML。反爬策略 尝试快速刷新页面观察是否有验证码弹出查看请求头是否有特殊的令牌Token这些信息有助于我们在编写脚本时提前规避。经过分析我们发现目标网站的评论是通过一个形如https://api.example-shop.com/v1/product/{id}/reviews?limit20offset0的接口返回JSON数据。这太好了这意味着我们可以绕过页面渲染直接请求结构化数据速度更快解析更简单。4.2 编写核心采集脚本我们的脚本将分为几个步骤启动浏览器 - 访问列表页获取商品ID - 并发访问评论API - 解析并保存数据。# scraper.py import asyncio import aiohttp import json from typing import List, Dict from playwright.async_api import async_playwright from config import get_bright_data_ws_url from parsers.ecommerce import parse_product_list, parse_review_api class EcommerceReviewScraper: def __init__(self): self.ws_url get_bright_data_ws_url() self.product_ids [] self.all_reviews [] async def fetch_with_browser(self, url: str): 使用Scraping Browser获取页面内容用于解析列表页等需要JS渲染的场景 async with async_playwright() as p: browser await p.chromium.connect_over_cdp(self.ws_url) # 创建新的上下文隔离会话 context await browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 ... # Scraping Browser通常会自动设置这里可覆盖 ) page await context.new_page() try: # 设置合理的超时和等待策略 await page.goto(url, wait_untilnetworkidle, timeout60000) # 等待关键元素出现确保页面加载完成 await page.wait_for_selector(.product-list, timeout30000) content await page.content() return content except Exception as e: print(fError fetching {url}: {e}) return None finally: await context.close() await browser.close() async def fetch_api_directly(self, session: aiohttp.ClientSession, api_url: str): 直接调用API接口使用Scraping Browser的代理网络 # 注意这里我们需要通过Bright Data的HTTP代理来发送API请求以复用其IP池和反爬优势。 # Bright Data的HTTP代理信息也需要在config中配置。 proxy_url fhttp://{config.BRIGHT_DATA_USER}:{config.BRIGHT_DATA_PASS}{config.BRIGHT_DATA_HTTP_HOST}:{config.BRIGHT_DATA_HTTP_PORT} try: async with session.get(api_url, proxyproxy_url, timeout30) as response: if response.status 200: return await response.json() else: print(fAPI request failed for {api_url}: Status {response.status}) return None except Exception as e: print(fError fetching API {api_url}: {e}) return None async def scrape_product_list(self, list_url: str): 抓取商品列表页提取商品ID print(fScraping product list: {list_url}) html_content await self.fetch_with_browser(list_url) if html_content: self.product_ids parse_product_list(html_content) # 调用解析器 print(fFound {len(self.product_ids)} products.) else: print(Failed to scrape product list.) async def scrape_reviews_for_product(self, session: aiohttp.ClientSession, product_id: str): 并发抓取单个商品的所有评论 base_api_url fhttps://api.example-shop.com/v1/product/{product_id}/reviews offset 0 limit 20 product_reviews [] while True: api_url f{base_api_url}?limit{limit}offset{offset} data await self.fetch_api_directly(session, api_url) if not data or reviews not in data or len(data[reviews]) 0: break batch_reviews parse_review_api(data) # 解析API返回的JSON product_reviews.extend(batch_reviews) offset limit # 礼貌性延迟避免请求过快 await asyncio.sleep(0.5) print(fScraped {len(product_reviews)} reviews for product {product_id}.) return product_reviews async def run(self, start_urls: List[str]): 主运行函数 # 1. 抓取所有商品ID for url in start_urls: await self.scrape_product_list(url) # 2. 使用aiohttp并发抓取评论API connector aiohttp.TCPConnector(limit10) # 控制并发度 async with aiohttp.ClientSession(connectorconnector) as session: tasks [] for pid in self.product_ids[:50]: # 先测试前50个商品 task asyncio.create_task(self.scrape_reviews_for_product(session, pid)) tasks.append(task) # 等待所有任务完成 results await asyncio.gather(*tasks, return_exceptionsTrue) for res in results: if isinstance(res, list): self.all_reviews.extend(res) # 3. 保存数据 with open(reviews.json, w, encodingutf-8) as f: json.dump(self.all_reviews, f, ensure_asciiFalse, indent2) print(fTotal reviews collected: {len(self.all_reviews)}) # parsers/ecommerce.py from bs4 import BeautifulSoup def parse_product_list(html: str) - List[str]: 解析列表页HTML提取商品ID soup BeautifulSoup(html, html.parser) product_links soup.select(a.product-link) # 根据实际CSS选择器修改 ids [] for link in product_links: href link.get(href) # 从URL中提取ID例如 /product/12345 - 12345 import re match re.search(r/product/(\d), href) if match: ids.append(match.group(1)) return ids def parse_review_api(api_data: Dict) - List[Dict]: 解析评论API返回的JSON数据 reviews [] for item in api_data.get(reviews, []): review { review_id: item.get(id), product_id: item.get(productId), rating: item.get(rating), title: item.get(title), text: item.get(content), author: item.get(author, {}).get(name), date: item.get(createdAt), verified_purchase: item.get(verified, False) } # 简单的数据清洗去除空白过滤无效评论 if review[text] and len(review[text].strip()) 5: reviews.append(review) return reviews4.3 关键配置与优化技巧要让采集器高效稳定运行以下几个配置点至关重要并发控制在aiohttp.ClientSession中使用TCPConnector(limit10)限制并发连接数。过高的并发会给目标网站服务器造成压力也容易触发反爬。建议从5-10开始根据网站响应情况调整。请求延迟在循环请求API如分页时使用await asyncio.sleep(random.uniform(1, 3))添加随机延迟模拟人类操作间隔。避免固定频率的请求。超时设置Playwright的page.goto和wait_for_selector都要设置合理的超时如30-60秒。对于API请求在aiohttp的get方法中设置timeout。错误处理与重试网络请求和页面交互都可能失败。必须用try...except包裹并实现重试逻辑。可以使用tenacity库来优雅地实现带指数退避的重试机制。使用HTTP代理访问API如上例所示直接调用API时为了让请求也经过Bright Data的代理网络以获得IP轮换和反爬好处需要配置HTTP代理。这需要在Bright Data控制台获取HTTP代理的认证信息主机、端口、用户名、密码它与Scraping Browser的WebSocket连接信息是分开的。5. 数据清洗、存储与后续处理流程抓取到的原始数据通常是杂乱无章的必须经过清洗才能用于AI训练。5.1 数据清洗策略清洗工作可以在解析时parse_review_api函数内进行也可以作为一个独立的后续步骤。主要任务包括去重根据review_id或评论内容哈希值去除完全重复的条目。缺失值处理对于关键字段如text,rating缺失的评论直接丢弃。文本清洗去除HTML标签。去除特殊字符、多余空格、换行符。处理编码问题确保UTF-8。识别并过滤垃圾评论如纯广告、无意义字符。可以基于简单规则如长度过短、包含大量特殊符号或训练一个简单的分类器。标准化将日期字符串转换为统一的datetime对象将评分统一为0-5的数值。5.2 数据存储方案选择根据数据量和后续使用方式选择存储方案JSON/CSV文件适用于中小规模数据几万到几十万条简单直接。可以使用pandas库进行读写和初步分析。import pandas as pd df pd.DataFrame(cleaned_reviews) df.to_csv(cleaned_reviews.csv, indexFalse, encodingutf-8-sig) df.to_json(cleaned_reviews.jsonl, orientrecords, linesTrue) # JSON Lines格式更通用SQLite数据库适用于需要复杂查询、去重和增量更新的场景。轻量级单文件易于管理。云数据库如PostgreSQL, MongoDB当数据量极大数百万以上或需要团队协作时使用。MongoDB的文档模型非常适合存储JSON格式的评论数据。5.3 与AI训练流程衔接清洗后的数据可以直接喂给模型训练流程。一个常见的做法是将数据转换为特定的格式例如情感分析生成(text, sentiment_label)对保存为CSV或TFRecord格式。文本生成将商品描述和评论组织成连续的文本段落用于语言模型预训练。构建向量数据库将评论文本通过Embedding模型转换为向量存入ChromaDB、Weaviate或Pinecone等向量数据库用于构建RAG检索增强生成应用。你可以将整个数据采集和清洗流程封装成脚本或DAG例如使用Apache Airflow定期自动运行为你的AI模型提供持续的新鲜数据流。6. 避坑指南与高级技巧在实际使用Scraping Browser进行大规模采集时我踩过不少坑也总结了一些提升效率和稳定性的技巧。6.1 常见问题与解决方案问题现象可能原因解决方案连接Scraping Browser超时网络问题Bright Data服务端暂时不可用认证信息错误1. 检查网络连通性。2. 重试连接并使用指数退避策略。3. 核对控制台中的主机、端口、用户名、密码。页面加载缓慢或卡住目标网站本身慢页面有复杂JS或无限滚动Scraping Browser节点负载高1. 增加page.goto的timeout值。2. 优化等待条件使用wait_for_selector等待特定元素而非networkidle。3. 尝试在代码中执行page.evaluate滚动页面以触发加载。仍然被网站屏蔽目标网站有极其严格的反爬如高级行为分析IP池中的某些IP被目标网站拉黑1. 在browser.new_context()中尝试更换user_agent、viewport。2. 在Bright Data控制台中尝试切换代理类型如从数据中心IP切换到住宅IP。3. 进一步模拟人类行为随机移动鼠标、随机延迟、非匀速滚动。内存泄漏运行一段时间后崩溃页面、上下文或浏览器对象未正确关闭务必在finally块或使用async with确保资源释放。确保每个browser.new_context()都有对应的context.close()每个browser.connect_over_cdp()都有对应的browser.close()。API直接请求返回403/封禁HTTP代理配置错误请求头如User-Agent被识别1. 确保HTTP代理URL格式正确。2. 在aiohttp请求中添加更真实的请求头如Referer, Accept-Language。6.2 提升采集效率的高级策略并行化与异步优化充分利用Scraping Browser支持多并发的特性。不要用一个page顺序抓取而是创建多个context和page并行工作。可以使用asyncio.gather并发执行多个采集任务。但要注意单个Bright Data账户可能有并发实例数限制需查阅文档。async def scrape_many_pages(url_list): async with async_playwright() as p: browser await p.chromium.connect_over_cdp(WS_URL) tasks [] for url in url_list: # 每个任务使用独立的context task asyncio.create_task(scrape_single_page(browser, url)) tasks.append(task) await asyncio.gather(*tasks) await browser.close()混合采集模式对于同一个网站灵活运用“浏览器渲染模式”和“直接API模式”。列表页可能需要浏览器来渲染但详情页数据如果可以通过API获取就优先用API。这能大幅提升速度和降低资源消耗。智能请求调度与去重在爬虫开始前用一个队列管理所有待抓取的URL。在解析页面时将新发现的URL加入队列前先通过布隆过滤器Bloom Filter或已抓取URL集合进行去重避免重复抓取。监控与日志为爬虫添加详细的日志记录包括每个步骤的开始结束时间、成功失败状态、抓取的数据量等。这有助于在出现问题时快速定位。可以考虑使用structlog或loguru库。同时监控Bright Data控制台的使用量和费用。6.3 成本控制与伦理考量使用Scraping Browser是付费服务成本主要来源于浏览器实例的运行时间有时也包含流量。控制成本的技巧及时释放资源任务完成后立即close()浏览器和上下文避免闲置产生费用。优化脚本效率减少不必要的页面等待时间优先使用高效的API接口。设置预算警报在Bright Data控制台设置用量或费用警报。伦理与合规是底线遵守robots.txt检查目标网站的robots.txt文件尊重其禁止抓取的目录。控制请求速率即使工具强大也不要对目标网站发起DoS攻击式的请求。添加合理的延迟。尊重数据版权明确你收集数据的目的遵守网站的服务条款。收集的数据仅用于个人研究或合法授权的商业分析不得用于非法用途或侵犯他人隐私。处理个人信息如果意外收集到个人信息如邮箱、地址应建立流程立即安全地删除。将Scraping Browser集成到AI数据工作流中就像为你的数据流水线安装了一个高性能、智能化的“前端采集模块”。它把最棘手的动态内容渲染和反爬对抗问题外包给了专业服务让你能回归本质专注于数据本身的解析、清洗和价值挖掘。经过几个项目的实践我发现它确实能节省大量开发和维护时间让数据收集从一项“技术苦力活”变成一项可预测、可管理的工程任务。对于任何需要从现代互联网获取高质量数据的AI项目这都是一项值得深入评估和投资的基础设施。
利用Bright Data Scraping Browser高效采集AI训练数据实战指南
发布时间：2026/7/1 9:13:59
1. 项目概述当AI训练遇上数据采集瓶颈最近在做一个AI模型训练项目最头疼的不是调参而是找数据。模型要喂得好数据质量是关键。但现实是公开数据集往往不够用或者领域不匹配自己动手采集又是个大工程。网页数据尤其是那些需要交互比如登录、点击、滚动加载的动态内容用传统的爬虫框架像Scrapy、BeautifulSoup去抓简直是一场与反爬机制的持久战。你得处理JavaScript渲染、应对IP封禁、模拟人类行为一套组合拳下来开发维护成本高得吓人。这时候一个专门为这类复杂场景设计的工具就显得尤为重要。我最近深度体验了Bright Data的Scraping Browser它本质上是一个被高度自动化和管理起来的浏览器环境专门为大规模、稳定的网络数据采集而打造。你可以把它理解为一个“超级浏览器”它运行在云端你可以通过代码像遥控器一样精确控制它访问任何网页、执行任何操作同时它帮你处理好了所有底层反爬的麻烦事。这个项目的核心就是探索如何利用Scraping Browser将AI数据收集这个最耗时的环节变得高效、可靠且易于集成。对于AI工程师、数据科学家或者任何需要从现代复杂网站尤其是单页应用SPA、社交平台、电商网站获取结构化数据的朋友来说这绝对是一个能极大提升生产力的利器。它解决的不仅仅是“抓到数据”更是“稳定、高效、规模化地抓到高质量数据”。2. 核心思路与方案选型为什么是Scraping Browser在决定使用Scraping Browser之前我系统性地评估和对比了几种主流的数据采集方案。理解这些方案的差异是做出正确技术选型的基础。2.1 传统爬虫方案的局限最经典的方法是使用Requests BeautifulSoup/PyQuery的组合。它的优点是轻量、快速对于纯静态HTML页面非常有效。但如今互联网上超过70%的网站都重度依赖JavaScript来动态加载内容。一个商品列表你直接用Requests去抓可能只能拿到一个空的div真正的数据需要通过后续的AJAX请求获取。这时候就需要用到Selenium或Playwright这类浏览器自动化工具。Selenium/Playwright能驱动真实浏览器完美解决JS渲染问题。但随之而来的是一系列新挑战资源开销大每个爬虫实例都要启动一个完整的浏览器进程内存和CPU消耗巨大难以规模化。指纹暴露浏览器的WebDriver特征、窗口大小、插件列表等很容易被网站检测到导致被标记为机器人。IP管理复杂大规模采集必须使用代理IP池并且要处理代理的认证、失效切换与浏览器实例的绑定非常繁琐。稳定性维护需要自己处理浏览器崩溃、内存泄漏、页面加载超时、元素定位失败等异常代码健壮性要求高。我曾维护过一个基于Playwright的分布式爬虫集群超过30%的代码都在处理各种边缘情况和反爬对抗心力交瘁。2.2 Scraping Browser的差异化优势Bright Data的Scraping Browser提供了一个“浏览器即服务”的解决方案。它将一个经过深度优化和伪装的Chrome浏览器运行在云端并通过WebSocket协议对外提供标准的CDPChrome DevTools Protocol接口。这意味着你可以用你熟悉的Playwright或Puppeteer库的代码去连接和控制这个远程浏览器而无需管理浏览器本身。它的核心优势在于开箱即用的反爬绕过这是最大的卖点。Bright Data在底层集成了其庞大的代理IP网络住宅IP、数据中心IP、移动IP、自动的浏览器指纹伪装Canvas, WebGL, AudioContext, Fonts等、以及智能的请求调度。你基本不需要关心“如何不被封”它已经帮你处理了大部分常见和高级的反爬策略。无状态会话管理每个浏览器实例都是全新的、干净的没有Cookie、LocalStorage的历史包袱确保每次采集的独立性也避免了因会话污染导致的数据偏差。规模化与弹性由于浏览器运行在云端你可以根据需求瞬间启动数十甚至上百个并发实例采集完成后立即释放按使用量付费。这比自建浏览器集群的成本和运维复杂度低得多。简化集成直接使用Playwright/Puppeteer API学习成本极低。你现有的爬虫脚本只需修改一下浏览器连接方式就能无缝迁移立即获得抗反爬能力。注意Scraping Browser并非“魔法”它不能、也不应该用于违反网站服务条款或法律法规的数据采集。它的价值在于为合规的、大规模的公开数据收集提供了一个稳定可靠的基础设施让你能将精力聚焦在数据解析和业务逻辑上而非与反爬机制无休止的对抗。2.3 我们的AI数据收集场景适配对于AI项目数据收集的需求通常是领域特定需要从垂直行业网站如医疗论坛、法律文档库、电商评论收集语料。规模要求大需要成千上万的样本用于预训练或微调。质量要求高需要相对干净、结构化的文本、图片或元数据。持续性可能需要定期如每天收集最新数据以更新模型。Scraping Browser非常适合这类场景。例如收集电商产品描述和评论来训练商品推荐模型抓取技术问答社区如Stack Overflow的问答对来构建代码助手或者从新闻网站收集特定主题的文章来训练文本分类器。它的稳定性和规模化能力确保了数据管道的可靠这是AI项目数据基础的生命线。3. 环境准备与核心工具链搭建工欲善其事必先利其器。使用Scraping Browser整个工具链非常简洁核心就是你的代码和Bright Data的服务。3.1 前期准备工作首先你需要在Bright Data官网注册账号并开通服务。在控制台中找到Scraping Browser产品创建一个“访问凭证”。这个凭证通常包含主机名Host 类似brd.superproxy.io端口Port 通常是9222用户名Username 你的Bright Data账号相关的用户名密码Password 自动生成的认证密码这些信息是后续通过Playwright连接云浏览器的关键。Bright Data通常提供免费额度供试用足够进行初步的可行性验证。3.2 本地开发环境配置我强烈推荐使用Python的Playwright库因为它对异步支持好API现代且与Scraping Browser的CDP接口兼容性极佳。创建虚拟环境这是保持项目依赖纯净的好习惯。python -m venv venv source venv/bin/activate # Linux/macOS # 或 venv\Scripts\activate # Windows安装Playwrightpip install playwright playwright install chromium # 安装Chromium浏览器驱动虽然我们用云端浏览器但本地库需要这里安装的chromium驱动主要用于本地测试和API调用不会与云端浏览器冲突。组织项目结构一个清晰的结构有助于管理复杂的采集任务。ai_data_collector/ ├── config.py # 存放Bright Data认证信息、目标URL列表等配置 ├── scraper.py # 核心采集逻辑 ├── parsers/ # 不同网站的解析器模块 │ ├── __init__.py │ ├── ecommerce.py │ └── forum.py ├── utils/ # 工具函数如日志、数据清洗、存储 └── requirements.txt # 项目依赖编写配置文件将敏感信息放在配置文件中不要硬编码在脚本里。config.py内容如下# config.py BRIGHT_DATA_HOST brd.superproxy.io BRIGHT_DATA_PORT 9222 BRIGHT_DATA_USER your-username-here BRIGHT_DATA_PASS your-password-here # 构造代理连接字符串 def get_bright_data_ws_url(): return fwss://{BRIGHT_DATA_USER}:{BRIGHT_DATA_PASS}{BRIGHT_DATA_HOST}:{BRIGHT_DATA_PORT}3.3 核心连接逻辑剖析与Scraping Browser建立连接的核心是使用Playwright的browser_type.connect_over_cdp方法连接到一个WebSocket端点。这个端点就是由Bright Data提供的、已经启动并配置好反爬措施的浏览器实例。# scraper.py 核心连接片段 import asyncio from playwright.async_api import async_playwright from config import get_bright_data_ws_url async def create_browser(): async with async_playwright() as p: # 关键步骤连接到远程的Scraping Browser实例 browser await p.chromium.connect_over_cdp(get_bright_data_ws_url()) return browser这里有一个非常重要的实操细节connect_over_cdp建立的是一个持久的远程连接。你不需要、也不应该频繁地创建和关闭这个连接。最佳实践是对于一个采集会话比如抓取一个网站的所有分页复用同一个browser对象然后在这个browser下创建多个context上下文和page页面。每个context是独立的会话隔离Cookie、缓存适合并行处理不同任务或避免状态交叉。4. 实战构建一个健壮的AI数据采集器理论讲完我们进入实战。假设我们要为一个“产品评论情感分析模型”收集数据目标网站是一个大型电商平台我们以“example-shop.com”代称。我们需要收集商品名称、价格、评论内容、评分和评论日期。4.1 目标分析与页面结构解析首先手动打开目标网站用浏览器的开发者工具F12分析页面结构。列表页 找到商品列表的URL模式例如https://example-shop.com/category/electronics?page2。观察列表是如何加载的直接HTML分页滚动加载。详情页 点击一个商品进入详情页。找到评论区域的HTML结构。评论是直接加载的吗还是点击“查看更多评论”后通过API加载查看Network面板找到获取评论数据的真实API接口通常是XHR/Fetch请求返回JSON格式。如果能直接调用API效率将远高于解析页面HTML。反爬策略 尝试快速刷新页面观察是否有验证码弹出查看请求头是否有特殊的令牌Token这些信息有助于我们在编写脚本时提前规避。经过分析我们发现目标网站的评论是通过一个形如https://api.example-shop.com/v1/product/{id}/reviews?limit20offset0的接口返回JSON数据。这太好了这意味着我们可以绕过页面渲染直接请求结构化数据速度更快解析更简单。4.2 编写核心采集脚本我们的脚本将分为几个步骤启动浏览器 - 访问列表页获取商品ID - 并发访问评论API - 解析并保存数据。# scraper.py import asyncio import aiohttp import json from typing import List, Dict from playwright.async_api import async_playwright from config import get_bright_data_ws_url from parsers.ecommerce import parse_product_list, parse_review_api class EcommerceReviewScraper: def __init__(self): self.ws_url get_bright_data_ws_url() self.product_ids [] self.all_reviews [] async def fetch_with_browser(self, url: str): 使用Scraping Browser获取页面内容用于解析列表页等需要JS渲染的场景 async with async_playwright() as p: browser await p.chromium.connect_over_cdp(self.ws_url) # 创建新的上下文隔离会话 context await browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 ... # Scraping Browser通常会自动设置这里可覆盖 ) page await context.new_page() try: # 设置合理的超时和等待策略 await page.goto(url, wait_untilnetworkidle, timeout60000) # 等待关键元素出现确保页面加载完成 await page.wait_for_selector(.product-list, timeout30000) content await page.content() return content except Exception as e: print(fError fetching {url}: {e}) return None finally: await context.close() await browser.close() async def fetch_api_directly(self, session: aiohttp.ClientSession, api_url: str): 直接调用API接口使用Scraping Browser的代理网络 # 注意这里我们需要通过Bright Data的HTTP代理来发送API请求以复用其IP池和反爬优势。 # Bright Data的HTTP代理信息也需要在config中配置。 proxy_url fhttp://{config.BRIGHT_DATA_USER}:{config.BRIGHT_DATA_PASS}{config.BRIGHT_DATA_HTTP_HOST}:{config.BRIGHT_DATA_HTTP_PORT} try: async with session.get(api_url, proxyproxy_url, timeout30) as response: if response.status 200: return await response.json() else: print(fAPI request failed for {api_url}: Status {response.status}) return None except Exception as e: print(fError fetching API {api_url}: {e}) return None async def scrape_product_list(self, list_url: str): 抓取商品列表页提取商品ID print(fScraping product list: {list_url}) html_content await self.fetch_with_browser(list_url) if html_content: self.product_ids parse_product_list(html_content) # 调用解析器 print(fFound {len(self.product_ids)} products.) else: print(Failed to scrape product list.) async def scrape_reviews_for_product(self, session: aiohttp.ClientSession, product_id: str): 并发抓取单个商品的所有评论 base_api_url fhttps://api.example-shop.com/v1/product/{product_id}/reviews offset 0 limit 20 product_reviews [] while True: api_url f{base_api_url}?limit{limit}offset{offset} data await self.fetch_api_directly(session, api_url) if not data or reviews not in data or len(data[reviews]) 0: break batch_reviews parse_review_api(data) # 解析API返回的JSON product_reviews.extend(batch_reviews) offset limit # 礼貌性延迟避免请求过快 await asyncio.sleep(0.5) print(fScraped {len(product_reviews)} reviews for product {product_id}.) return product_reviews async def run(self, start_urls: List[str]): 主运行函数 # 1. 抓取所有商品ID for url in start_urls: await self.scrape_product_list(url) # 2. 使用aiohttp并发抓取评论API connector aiohttp.TCPConnector(limit10) # 控制并发度 async with aiohttp.ClientSession(connectorconnector) as session: tasks [] for pid in self.product_ids[:50]: # 先测试前50个商品 task asyncio.create_task(self.scrape_reviews_for_product(session, pid)) tasks.append(task) # 等待所有任务完成 results await asyncio.gather(*tasks, return_exceptionsTrue) for res in results: if isinstance(res, list): self.all_reviews.extend(res) # 3. 保存数据 with open(reviews.json, w, encodingutf-8) as f: json.dump(self.all_reviews, f, ensure_asciiFalse, indent2) print(fTotal reviews collected: {len(self.all_reviews)}) # parsers/ecommerce.py from bs4 import BeautifulSoup def parse_product_list(html: str) - List[str]: 解析列表页HTML提取商品ID soup BeautifulSoup(html, html.parser) product_links soup.select(a.product-link) # 根据实际CSS选择器修改 ids [] for link in product_links: href link.get(href) # 从URL中提取ID例如 /product/12345 - 12345 import re match re.search(r/product/(\d), href) if match: ids.append(match.group(1)) return ids def parse_review_api(api_data: Dict) - List[Dict]: 解析评论API返回的JSON数据 reviews [] for item in api_data.get(reviews, []): review { review_id: item.get(id), product_id: item.get(productId), rating: item.get(rating), title: item.get(title), text: item.get(content), author: item.get(author, {}).get(name), date: item.get(createdAt), verified_purchase: item.get(verified, False) } # 简单的数据清洗去除空白过滤无效评论 if review[text] and len(review[text].strip()) 5: reviews.append(review) return reviews4.3 关键配置与优化技巧要让采集器高效稳定运行以下几个配置点至关重要并发控制在aiohttp.ClientSession中使用TCPConnector(limit10)限制并发连接数。过高的并发会给目标网站服务器造成压力也容易触发反爬。建议从5-10开始根据网站响应情况调整。请求延迟在循环请求API如分页时使用await asyncio.sleep(random.uniform(1, 3))添加随机延迟模拟人类操作间隔。避免固定频率的请求。超时设置Playwright的page.goto和wait_for_selector都要设置合理的超时如30-60秒。对于API请求在aiohttp的get方法中设置timeout。错误处理与重试网络请求和页面交互都可能失败。必须用try...except包裹并实现重试逻辑。可以使用tenacity库来优雅地实现带指数退避的重试机制。使用HTTP代理访问API如上例所示直接调用API时为了让请求也经过Bright Data的代理网络以获得IP轮换和反爬好处需要配置HTTP代理。这需要在Bright Data控制台获取HTTP代理的认证信息主机、端口、用户名、密码它与Scraping Browser的WebSocket连接信息是分开的。5. 数据清洗、存储与后续处理流程抓取到的原始数据通常是杂乱无章的必须经过清洗才能用于AI训练。5.1 数据清洗策略清洗工作可以在解析时parse_review_api函数内进行也可以作为一个独立的后续步骤。主要任务包括去重根据review_id或评论内容哈希值去除完全重复的条目。缺失值处理对于关键字段如text,rating缺失的评论直接丢弃。文本清洗去除HTML标签。去除特殊字符、多余空格、换行符。处理编码问题确保UTF-8。识别并过滤垃圾评论如纯广告、无意义字符。可以基于简单规则如长度过短、包含大量特殊符号或训练一个简单的分类器。标准化将日期字符串转换为统一的datetime对象将评分统一为0-5的数值。5.2 数据存储方案选择根据数据量和后续使用方式选择存储方案JSON/CSV文件适用于中小规模数据几万到几十万条简单直接。可以使用pandas库进行读写和初步分析。import pandas as pd df pd.DataFrame(cleaned_reviews) df.to_csv(cleaned_reviews.csv, indexFalse, encodingutf-8-sig) df.to_json(cleaned_reviews.jsonl, orientrecords, linesTrue) # JSON Lines格式更通用SQLite数据库适用于需要复杂查询、去重和增量更新的场景。轻量级单文件易于管理。云数据库如PostgreSQL, MongoDB当数据量极大数百万以上或需要团队协作时使用。MongoDB的文档模型非常适合存储JSON格式的评论数据。5.3 与AI训练流程衔接清洗后的数据可以直接喂给模型训练流程。一个常见的做法是将数据转换为特定的格式例如情感分析生成(text, sentiment_label)对保存为CSV或TFRecord格式。文本生成将商品描述和评论组织成连续的文本段落用于语言模型预训练。构建向量数据库将评论文本通过Embedding模型转换为向量存入ChromaDB、Weaviate或Pinecone等向量数据库用于构建RAG检索增强生成应用。你可以将整个数据采集和清洗流程封装成脚本或DAG例如使用Apache Airflow定期自动运行为你的AI模型提供持续的新鲜数据流。6. 避坑指南与高级技巧在实际使用Scraping Browser进行大规模采集时我踩过不少坑也总结了一些提升效率和稳定性的技巧。6.1 常见问题与解决方案问题现象可能原因解决方案连接Scraping Browser超时网络问题Bright Data服务端暂时不可用认证信息错误1. 检查网络连通性。2. 重试连接并使用指数退避策略。3. 核对控制台中的主机、端口、用户名、密码。页面加载缓慢或卡住目标网站本身慢页面有复杂JS或无限滚动Scraping Browser节点负载高1. 增加page.goto的timeout值。2. 优化等待条件使用wait_for_selector等待特定元素而非networkidle。3. 尝试在代码中执行page.evaluate滚动页面以触发加载。仍然被网站屏蔽目标网站有极其严格的反爬如高级行为分析IP池中的某些IP被目标网站拉黑1. 在browser.new_context()中尝试更换user_agent、viewport。2. 在Bright Data控制台中尝试切换代理类型如从数据中心IP切换到住宅IP。3. 进一步模拟人类行为随机移动鼠标、随机延迟、非匀速滚动。内存泄漏运行一段时间后崩溃页面、上下文或浏览器对象未正确关闭务必在finally块或使用async with确保资源释放。确保每个browser.new_context()都有对应的context.close()每个browser.connect_over_cdp()都有对应的browser.close()。API直接请求返回403/封禁HTTP代理配置错误请求头如User-Agent被识别1. 确保HTTP代理URL格式正确。2. 在aiohttp请求中添加更真实的请求头如Referer, Accept-Language。6.2 提升采集效率的高级策略并行化与异步优化充分利用Scraping Browser支持多并发的特性。不要用一个page顺序抓取而是创建多个context和page并行工作。可以使用asyncio.gather并发执行多个采集任务。但要注意单个Bright Data账户可能有并发实例数限制需查阅文档。async def scrape_many_pages(url_list): async with async_playwright() as p: browser await p.chromium.connect_over_cdp(WS_URL) tasks [] for url in url_list: # 每个任务使用独立的context task asyncio.create_task(scrape_single_page(browser, url)) tasks.append(task) await asyncio.gather(*tasks) await browser.close()混合采集模式对于同一个网站灵活运用“浏览器渲染模式”和“直接API模式”。列表页可能需要浏览器来渲染但详情页数据如果可以通过API获取就优先用API。这能大幅提升速度和降低资源消耗。智能请求调度与去重在爬虫开始前用一个队列管理所有待抓取的URL。在解析页面时将新发现的URL加入队列前先通过布隆过滤器Bloom Filter或已抓取URL集合进行去重避免重复抓取。监控与日志为爬虫添加详细的日志记录包括每个步骤的开始结束时间、成功失败状态、抓取的数据量等。这有助于在出现问题时快速定位。可以考虑使用structlog或loguru库。同时监控Bright Data控制台的使用量和费用。6.3 成本控制与伦理考量使用Scraping Browser是付费服务成本主要来源于浏览器实例的运行时间有时也包含流量。控制成本的技巧及时释放资源任务完成后立即close()浏览器和上下文避免闲置产生费用。优化脚本效率减少不必要的页面等待时间优先使用高效的API接口。设置预算警报在Bright Data控制台设置用量或费用警报。伦理与合规是底线遵守robots.txt检查目标网站的robots.txt文件尊重其禁止抓取的目录。控制请求速率即使工具强大也不要对目标网站发起DoS攻击式的请求。添加合理的延迟。尊重数据版权明确你收集数据的目的遵守网站的服务条款。收集的数据仅用于个人研究或合法授权的商业分析不得用于非法用途或侵犯他人隐私。处理个人信息如果意外收集到个人信息如邮箱、地址应建立流程立即安全地删除。将Scraping Browser集成到AI数据工作流中就像为你的数据流水线安装了一个高性能、智能化的“前端采集模块”。它把最棘手的动态内容渲染和反爬对抗问题外包给了专业服务让你能回归本质专注于数据本身的解析、清洗和价值挖掘。经过几个项目的实践我发现它确实能节省大量开发和维护时间让数据收集从一项“技术苦力活”变成一项可预测、可管理的工程任务。对于任何需要从现代互联网获取高质量数据的AI项目这都是一项值得深入评估和投资的基础设施。
相关文章
Git + Gerrit 第三课：分支、切换与合并
本节目标这一节学习 Git 中非常重要的能力：分支。你要理解这些问题：什么是分支？ 为什么不要直接在 master/main 上开发？ 如何创建自己的功能分支？ 如何在不同分支之间切换？ 如何把一个分支的代码合并到另一…
上海企业找软件定制开发，合同里必须写清的5条验收标准是什么？
很多企业签合同时只盯着价格和工期，却忽略了最关键的问题——“做成什么样才算验收通过？”结果项目交付时，觉得有bug、缺功能、界面丑，开发方却说“功能都有了，合同里没写要那么快、那么好看”，企业连反驳的…
AI的变革下，AI基础设施工程师的技术核心和培养方案（原运维架构师）
一、技术的起因、经过与结果--（更多计算和技术原理分析请联系本人） 起因：高性能CUDA算子开发（如CUTLASS、cuDNN）面临复杂的构建依赖、多硬件环境兼容、频繁的代码变更，需要保证正确性和性能不退化。传统手工…
VMware虚拟机迁移失败？5个致命陷阱与4步急救方案（附实测成功率98.7%脚本）
更多请点击： https://intelliparadigm.com 第一章：VMware虚拟机迁移失败？5个致命陷阱与4步急救方案（附实测成功率98.7%脚本） VMware vMotion 或跨vCenter迁移失败常导致业务中断、数据不一致甚至虚拟机挂起。我们通过…
2026德阳黄金回收白银回收铂金回收旧料回收怎么选？五家高实价铂金白银线下门店测评清单 + 联系方式
德阳街头巷尾的黄金回收、白银回收、铂金回收店铺星罗棋布，新旧招牌交错林立，看似选择众多，实则鱼龙混杂、良莠不齐。为帮本地市民甄别靠谱变现渠道，小编连日实地走访、多方核验，逐一筛选出五家诚信经营的正规回收商户…
别再死磕CNN了！手把手教你用PyTorch从零搭建ViT模型（附完整代码）
从零构建ViT模型：PyTorch实战指南与代码解析在计算机视觉领域，Transformer架构正掀起一场革命。2020年Google提出的Vision Transformer（ViT）打破了CNN在图像处理领域的长期垄断，证明了纯Transformer架构在视觉任务中的…
别再手算积分了！用MATLAB实现三点高斯求积公式，5分钟搞定任意区间数值积分
用MATLAB三点高斯求积公式5分钟解决工程积分难题 在工程仿真、数据建模和科学计算中，积分运算是无法绕开的数学操作。传统梯形法需要密集划分才能保证精度，而辛普森法则对振荡函数表现欠佳。三点高斯求积公式仅需三个计算节点就能达到五次代数精度&#…
求推荐好用的降英文AI工具代理
在当今数字化时代，AI技术在写作领域的应用愈发广泛，尤其是英文写作方面。然而，使用AI生成的英文文本很容易被检测出AI痕迹，这对于留学生、学术研究者、企业文案策划等需要输出高质量英文内容的人群来说，是一个亟待解决…
SAP PS模块实战：手把手教你用BAPI批量创建WBS元素（附代码示例）
SAP PS模块实战：BAPI批量创建WBS元素全流程解析 在装备制造、能源工程等复杂项目管理场景中，WBS（工作分解结构）元素的批量创建效率直接影响着系统集成的成败。传统手工录入方式在面对数百个任务节点时不仅耗时费力，还容…
FAE放射组学分析工具：医学影像特征探索的完整解决方案
FAE放射组学分析工具：医学影像特征探索的完整解决方案 【免费下载链接】FAE FeAture Explorer 项目地址: https://gitcode.com/gh_mirrors/fae/FAE 你是否曾经面对海量医学影像数据感到无从下手？想要从CT、MRI等影像中提取有价值的定量特征&#…
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南 【免费下载链接】happy-llm 📚 从零开始构建大模型 项目地址: https://gitcode.com/GitHub_Trending/ha/happy-llm 还在为大型多模态模型动辄数十亿参数、显存占用高而烦恼&…
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址…
AI Coding 六个月真实ROI账本：产品经理的血泪教训，研发的冷静忠告
6个月前的2025年12月，Boris Cherny 公开宣布自己卸载了 IDE。一时间，Vibe Coding 成了全行业最热的话题。6个月后，当我们回过头来拉一份真实账本，发现事情远没有"一句话生成一个App"那么浪漫。本文从产品经理和研发两个…
华为OD机试2025C卷-字符统计及重排[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率
📫 个人主页：深夜coding算法 📣 专栏系列：2026年华为最新OD机试题库详解 🔥 一次订阅，永久解锁 | 持续更新100篇 | 6语言全覆盖 文章目录❄️前言：☀️一：题目描述🌙 题目…
华为OD机试2025C卷-寻找相同子串[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率
📫 个人主页：深夜coding算法 📣 专栏系列：2026年华为最新OD机试题库详解 🔥 一次订阅，永久解锁 | 持续更新100篇 | 6语言全覆盖 文章目录❄️前言：☀️一：题目描述🌙 题目…
FAE放射组学分析工具：医学影像特征探索的完整解决方案
FAE放射组学分析工具：医学影像特征探索的完整解决方案 【免费下载链接】FAE FeAture Explorer 项目地址: https://gitcode.com/gh_mirrors/fae/FAE 你是否曾经面对海量医学影像数据感到无从下手？想要从CT、MRI等影像中提取有价值的定量特征&#…
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南 【免费下载链接】happy-llm 📚 从零开始构建大模型 项目地址: https://gitcode.com/GitHub_Trending/ha/happy-llm 还在为大型多模态模型动辄数十亿参数、显存占用高而烦恼&…
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址…