异步网络爬虫框架scrapy

1、安装python -m pip install scrapyScrapys入门教程2、创建项目scrapy startproject mySpider3、步骤3.1、先设置要爬取的字段3.2、写爬虫逻辑cd 进入spiders 文件scrapy genspider 爬虫名称 目标域名scrapy genspider itcast https://www.itheima.com/teacher.html运行项目scrapy crawl 项目名称scrapy crawl itcast或者简单运行项目的方法新建main.py文件 输入以下代码3.2.1、注意点scrapy.Request只是生成请求对象不会立刻发请求Scrapy 是异步框架要获取接口数据必须用yield把请求抛给引擎再写回调函数接收返回的 JSON传递数据将数据传入items文件打开这个设置pipelines才能接收到数据