爬虫学习:爬取京东图书

 # -*- coding: utf-8 -*-

    
 import copy
    
 import json
    
  
    
 import requests
    
 import scrapy
    
  
    
 class JdSpider(scrapy.Spider):
    
     name = 'jd'
    
     #由于请求商品详情的时候超出了jd.com域 所以需要手动添加
    
  
    
     allowed_domains = ['jd.com','p.3.cn']
    
     start_urls = ['https://book.jd.com/booksort.html']
    
  
    
     def parse(self, response):
    
  
    
     #获取分类标签的列表，采用分块提取的方法
    
     fir_sort_list = response.xpath("//div[@class='mc']/dl/dt")
    
     for fir_sort in fir_sort_list:
    
         item = {}
    
         item["fir_sort_name"] = fir_sort.xpath(".//text()").extract_first()
    
         #获取当前节点的后一个dd节点的xpath语法。同样也是和上面一样分块提取数据
    
         sec_sort_list = fir_sort.xpath("./following-sibling::dd[1]/em")
    
         
    
         for sec_sort in sec_sort_list:
    
             item["sec_sort_name"]=sec_sort.xpath("./a/text()").extract_first()
    
             if item["sec_sort_name"]:
    
                 item["sec_sort_name"] = item["sec_sort_name"].strip()
    
             detail_page_url = sec_sort.xpath("./a/@href").extract_first()
    
             #获取图书列表页的url地址，并进行判断是否有下一页在发送请求
    
             if detail_page_url:
    
                 detail_page_url = "https:"+detail_page_url
    
                 
    
                 yield scrapy.Request(
    
                     detail_page_url,
    
                     callback=self.book_list,
    
                     #避免某些字段被覆盖所以拷贝一份进行操作
    
                     meta={"item":copy.deepcopy(item)}
    
                 )
    
  
    
  
    
     def book_list(self,response):
    
     item = response.meta['item']
    
     book_list = response.xpath("//li[@class='gl-item']")
    
     for book in book_list:
    
         item["bk_name"] = book.xpath(".//div[@class='p-name']//em/text()").extract_first().strip()
    
         book_detail_url =  book.xpath("./div[@class='gl-i-wrap j-sku-item']/div[@class='p-img']/a/@href").extract_first()
    
         #发送详情页的请求
    
         if book_detail_url:
    
             book_detail_url = "https:" + book_detail_url
    
             yield scrapy.Request(
    
                 book_detail_url,
    
                 callback=self.deal_book_detail,
    
                 meta={"item":copy.deepcopy(item)}
    
             )
    
     next_page_url=response.xpath("//a[text()='下一页']/@href").extract_first()
    
     #实现图书列表页的翻页
    
     if next_page_url:
    
         next_page_url="https://list.jd.com" + next_page_url
    
         yield scrapy.Request(
    
             next_page_url,
    
             callback=self.book_list,
    
             #传递给本函数的数据 是上一个函数传递过来没有添加新字段的字典
    
             meta={"item":response.meta['item']}
    
         )
    
  
    
  
    
     def deal_book_detail(self,response):
    
     item = response.meta['item']
    
     item["bk_img"] = response.xpath("//div[@id='spec-n1']/img/@src").extract_first()
    
     if item["bk_img"]:
    
         item["bk_img"] = "https" + item["bk_img"]
    
     item["bk_publisher"] = response.xpath("//ul[@id = 'parameter2']/li[1]/@title").extract_first()
    
     bk_sku = response.xpath("//ul[@id='parameter2']/li[contains(text(),'商品编码')]/@title").extract_first()
    
     price_url = "https://p.3.cn/prices/mgets?&skuIds=J_" + str(bk_sku)
    
     ###为了获取价格 重新发送请求[1.查看资源是否在当前响应中，如果没有的话进行全局搜索关键字， 找到这个请求所在的文件，分析其发送请求的特点[参数都有什么，都是什么，怎么生成的]，而后构造请求 ]
    
     yield scrapy.Request(
    
         price_url,
    
         callback=self.bk_price,
    
         meta={"item": copy.deepcopy(item)}
    
     )
    
  
    
     def bk_price(self,response):
    
     item = response.meta["item"]
    
     item['bk_price'] = json.loads(response.body.decode())[0]['op']
    
     yield item