python爬虫scrapy框架爬取网页数据_Scrapy-Python

scrapy

Scrapy：Python的爬虫框架

实例Demo

抓取：汽车之家、瓜子、链家 等数据信息

版本+环境库

Python2.7 + Scrapy1.12

初窥Scrapy

Scrapy是一个被设计为用于爬取网站数据并提取结构性数据的应用框架。它广泛应用于包括但不限于数据分析、信息处理以及存储历史记录等多个领域的程序开发中。

应用

生成带 json的数据文件

$ scrapy crawl car -o Trunks.json

直接执行

$ scrapy crawl car

查看多少爬虫

$ scrapy list

其最初为 网络抓取 目的而设计；同时也可用于获取API返回的数据源（如 Amazon Associates Web Service（AAWS）），以及通用网络爬虫。

网上的数据采集程序被称为网络爬虫，在实际应用中它们的作用是提取目标网站的HTML代码。尽管采用某些库来编写基础的爬虫程序可能会耗时较长且复杂度较高, 但借助框架工具则能显著提升效率并缩短开发周期。Scrapy作为一种基于Python设计的工具, 不仅具有极高的灵活性而且操作简便, 是学习Web scraping领域不可多得的基础知识与实践平台

Scrapy主要包括了以下组件：

引擎，用来处理整个系统的数据流处理，触发事务。

调度器负责接收发动机发出的请求，并将它们放入一个队列中；当发动机再次发出请求时返回。

下载器，用于下载网页内容，并将网页内容返回给蜘蛛。

蜘蛛，蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。

项目管道负责管理来自网页中的相关项目其核心职责包括对项目的清晰化验证以及数据存储工作。在页面完成解析后相关数据会被依次送入系统进行分阶段处理

下载中间件组件，在Scrapy引擎与下载接口之间设置了钩子框架结构，在接收并处理来自引擎的请求任务时发挥核心作用

该组件作为位于Scrapy引擎与具体爬虫之间的一个辅助工具，在其生命周期中负责处理来自各个阶段的数据流。具体而言，在钩子机制下完成对目标页面响应内容的接收与解析工作，并在返回结果时提供相应的数据返回给后续操作流程。

中间件系统用于实现 Scrapy 引擎与调度系统的高效交互。该功能模块位于 Scrapy 引擎与调度系统之间，并负责接收 Scrapy 引擎发出的请求，并将相应的响应返回给引擎。

借助Scrapy能够相当便捷地完成网络数据的采集任务。它不仅高效地完成了繁重的工作量，还无需自行投入大量精力去开发相关的功能。

抓取切勿干非法之事，开源仅供参考。