Scrapy爬虫爬取书籍网站信息（一）
发布时间
阅读量：
阅读量
本文运用了Scrapy爬虫的知识，爬取了点击打开链接网站中的书籍信息，可以了解到基本Scrapy爬虫框架的使用方法。
一、项目需求：
1、其中每本书的信息包括：书名、价格、评价等级、产品编码、库存量、评价数量。
2、将爬取的结果保存到csv文件中。
二、在前期分析网页页面时，可以用Chrome开发者工具，也可以用scrapy shell
Chrome开发者工具这里不做介绍了，第二种方法在命令提示符下输入scrapy shell
接下来，在scrapy shell中调用view函数，在浏览器中显示response所包含的页面：即输入：view（response）
在进行页面分析时，使用view函数打开的页面要比使用Chrome审查元素工具更加可靠。如下图：
分析完书籍页面后，接着分析如何在书籍列表页面中提取每一本书籍页面的链接。在scrapy shell中，先调用fetch函数下载第一个书籍列表页面（http://books.toscrape.com/),下载完后再调用view函数在浏览器中查看页面。
到此，页面分析工作已经完成了。
全部评论 (0)
还没有任何评论哟~