爬虫二、Network---爬虫必备知识

    调用Response类方法将json格式的数据转化为列表/字典 ，例：
    res_music = requests.get ('url')#调用get方法，下载这个字典
    json_music = res_music.json ()
    
    
      
      
      
    

    import requests
    url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp'
    
    headers = {
    'origin':'https://y.qq.com',
    # 请求来源，本案例中其实是不需要加这个参数的，只是为了演示
     'referer':'https://y.qq.com/n/yqq/song/004Z8Ihr0JIu5s.html',
    # 请求来源，携带的信息比“origin”更丰富，本案例中其实是不需要加这个参数的，只是为了演示
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    # 标记了请求从什么设备，什么浏览器上发出
          }
    # 伪装请求头
    
    params = {
    'ct':'24',
    'qqmusic_ver': '1298',
    'new_json':'1',
    'remoteplace':'sizer.yqq.song_next',
    'searchid':'59091538798969282',
    't':'0',
    'aggr':'1',
    'cr':'1',
    'catZhida':'1',
    'lossless':'0',
    'flag_qc':'0',
    'p':'1',
    'n':'20',
    'w':'周杰伦',
    'g_tk':'5381',
    'loginUin':'0',
    'hostUin':'0',
    'format':'json',
    'inCharset':'utf8',
    'outCharset':'utf-8',
    'notice':'0',
    'platform':'yqq.json',
    'needNewCode':'0'    
            }
    # 将参数封装为字典
    res_music = requests.get(url,headers=headers,params=params)
    # 发起请求，填入请求头和参数
    
    
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
    

    Import requests
    # 引用requests模块
    url = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg'
    # 请求歌曲评论的url参数的前面部分
    
    字典名 = { 'g_tk':'5381',
           'loginUin':'0',
          .
          .
          .
          }   # 将参数封装为字典，字典里的参数要给他们打引号，让它们变字符串。
    变量 = requests.get(url, 字典名=params)  #传参
    
    
      
      
      
      
      
      
      
      
      
      
      
      
    

    params = dict([line.split(": ",1) for line in a.split("\n")])
    举例： 
    a = ''' nobase64: 1
    musicid: 237773700
    -: jsonp1
    g_tk: 5381
    loginUin: 0
    hostUin: 0
    format: json
    inCharset: utf8
    outCharset: utf-8
    notice: 0
    platform: yqq.json
    needNewCode: 0''' 
    params = dict([line.split(": ",1) for line in a.split("\n")])
    print(params)
    
    封装为函数：
    def get_headers(header_raw):
    """
    通过原生请求头获取请求头字典
    :param header_raw: {str} 浏览器请求头
    :return: {dict} headers
    """
       return dict(line.split(": ", 1) for line in header_raw.split("\n") if line != '')
    
    def get_cookies(cookie_raw):
    """
    通过原生cookie获取cookie字段
    :param cookie_raw: {str} 浏览器原始cookie
    :return: {dict} cookies
    """
    return dict(line.split("=", 1) for line in cookie_raw.split("; "))