网络爬虫相关概念

    #!/usr/bin/env python 
    # -*- coding:utf-8 -*-
    #导包import urllib.request
    import urllib.parse
    if__name__"__main__":
    #指定爬取的网页url'http://www.baidu.com/'#通过urlopen函数向指定的url发起请求，返回响应对象url)
    #通过调用响应对象中的read函数，返回响应回客户端的数据值（爬取到的数据）# data = reponse.read()     #返回的数据为byte类型，并非字符串# print(data)               #打印显示爬取到的数据值。#decode()作用是将响应中字节（byte）类型的数据值转成字符串类型 reponse.read().decode()
    #使用IO操作将data表示的数据值以'w'权限的方式写入到news.html文件中'./news.html''w') as fp:
        fp.write(data)
    print'写入文件完毕')
    
    
    """
    #补充说明
    urlopen函数原型：urllib.request.urlopen(url, data=None, timeout=<object object at 0x10af327d0>, *, cafile=None, capath=None, cadefault=False, context=None)
    
    在上述案例中我们只使用了该函数中的第一个参数url。在日常开发中，我们能用的只有url和data这两个参数。
    
    url参数：指定向哪个url发起请求
    data参数：可以将post请求中携带的参数封装成字典的形式传递给该参数（暂时不需要理解，后期会讲）
    
    urlopen函数返回的响应对象，相关函数调用介绍：
    response.headers()：获取响应头信息
    response.getcode()：获取响应状态码
    response.geturl()：获取请求的url
    response.read()：获取响应中的数据值（字节类型）
    """#爬取网络上某张图片数据，且存储到本地import urllib.request
    import urllib.parse
    #如下两行代码表示忽略https证书，因为下面请求的url为https协议的请求，如果请求不是https则该两行代码可不用。import ssl
    ssl._create_default_https_context  ssl._create_unverified_context
    
    if__name__"__main__":
    #url是https协议的'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg'
    reponse url)
    data #因为爬取的是图片数据值(二进制数据)，则无需使用decode进行类型转换。'./money.jpg''wb') as fp:
        fp.write(data)
    print'写入文件完毕')
    
    
    
    #url的特性：url必须为ASCII编码的数据值。所以我们在爬虫代码中编写url时，
    #如果url中存在非ASCII编码的数据值，则必须对其进行ASCII编码后，该url方可被使用。
    #案例：爬取使用百度根据指定词条搜索到的页面数据（例如爬取词条为‘周杰伦’的页面数据）import urllib.request
    import urllib.parse
    
    if__name__"__main__":
    #原始url中存在非ASCII编码的值，则该url无法被使用。#url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'#处理url中存在的非ASCII数据值'http://www.baidu.com/s?'#将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是'?'后面键值形式的请求参数 {
        'ie''utf-8',
        'wd''周杰伦'
    }
    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码 urllib.parse.urlencode(param)
    #将编码后的数据和url进行整合拼接成一个完整可用的url param
    print(url)
    response url)
    data  response.read()
    with open('./周杰伦.html''wb') as fp:
        fp.write(data)
    print'写入文件完毕')
    
    
    
    #通过自定义请求对象，用于伪装爬虫程序请求的身份。
    #上述案例中，我们是通过request模块中的urlopen发起的请求，该请求对象为urllib中内置的默认请求对象，
    # 我们无法对其进行UA进行更改操作。urllib还为我们提供了一种自定义请求对象的方式，
    # 我们可以通过自定义请求对象的方式，给该请求对象中的UA进行伪装（更改）操作。import urllib.request
    import urllib.parse
    
    import ssl
    ssl._create_default_https_context  ssl._create_unverified_context
    
    if__name__"__main__":
    #原始url中存在非ASCII编码的值，则该url无法被使用。#url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'#处理url中存在的非ASCII数据值'http://www.baidu.com/s?'#将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是'?'后面键值形式的请求参数 {
        'ie''utf-8',
        'wd''周杰伦'
    }
    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码 urllib.parse.urlencode(param)
    #将编码后的数据和url进行整合拼接成一个完整可用的url param
    #将浏览器的UA数据获取，封装到一个字典中。该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求，从中获取UA的值{
        'User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }
    #自定义一个请求对象#参数：url为请求的url。headers为UA的值。data为post请求的请求参数（后面讲）headers)
    
    #发送我们自定义的请求（该请求的UA已经进行了伪装） urllib.request.urlopen(request)
    
    dataresponse.read()
    
    with open('./周杰伦.html''wb') as fp:
        fp.write(data)
    print'写入数据完毕'

    单字符：

    
     . : 除换行以外所有字符
    
     [] ：[aoe] [a-w] 匹配集合中任意一个字符
    
     \d ：数字  [0-9]
    
     \D : 非数字
    
     \w ：数字、字母、下划线、中文
    
     \W : 非\w
    
     \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
    
     \S : 非空白
    
     数量修饰：
    
     * : 任意多次  >=0
    
     + : 至少1次   >=1 ? : 可有可无 0次或者1次 {m} ：固定m次 hello{3,} {m,} ：至少m次 {m,n} ：m-n次 边界： $ : 以某某结尾 ^ : 以某某开头 分组： (ab) 贪婪模式： .* 非贪婪（惰性）模式： .*? re.I : 忽略大小写 re.M ：多行匹配 re.S ：单行匹配 re.sub(正则表达式, 替换内容, 字符串)

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-import re
    #提取出python"javapythonc++php"
    re.findall('python',key)[0]
    #####################################################################
    #提取出hello world"<html><h1>hello world<h1></html>"
    re.findall('<h1>(.*)<h1>',key)[0]
    #####################################################################
    #提取170'我喜欢身高为170的女孩'
    re.findall('\d+',string)
    #####################################################################
    #提取出http://和https://'http://www.baidu.com and https://boob.com'
    re.findall('https?://',key)
    #####################################################################
    #提取出hello'lalala<hTml>hello</HtMl>hahah'#输出<hTml>hello</HtMl>'<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)
    #####################################################################
    #提取出hit.'bobo@hit.edu.com'#想要匹配到hit.'h.*?\.',key)
    #####################################################################
    #匹配sas和saas'saas and sas and saaas'
    re.findall('sa{1,2}s',key)
    #####################################################################
    #匹配出i开头的行'''fall in love with you
    i love you very much
    i love she
    i love her'''print'.*'# fall in love with youprint'.*',string,re.S)[0])
    """
    fall in love with you
    i love you very much
    i love she
    i love her
    """#####################################################################
    #匹配全部行"""<div>静夜思
    窗前明月光
    疑是地上霜
    举头望明月
    低头思故乡
    </div>"""print'.*',string1,re.S)[0])
    """
    <div>静夜思
    窗前明月光
    疑是地上霜
    举头望明月
    低头思故乡
    </div>
    """

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-import requests
    import re
    import os
    if__name__"__main__":
     url 'https://www.qiushibaike.com/pic/%s/'
     headers{
         'User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
     }
     #指定起始也结束页码'enter start page:'))
     page_end 'enter end page:'))
    
     #创建文件夹ifnot'images'):
         os.mkdir('images')
     #循环解析且下载指定页码中的图片数据forin):
         print'正在下载第%d页图片'page)
         new_url  page)
         response headers)
    
         #解析response中的图片链接'<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>'
         pa  re.compile(e,re.S)
         image_urls  pa.findall(response.text)
          #循环下载该页码下所有的图片数据forin image_urls:
             image_url 'https:' image_url
             image_name '/']
             image_path 'images/'image_name
    
             image_data headers).content
             with open(image_path,'wb') as fp:
                 fp.write(image_data)

 属性定位：

    
     #找到class属性值为song的div标签
    
     //div[@class="song"] 
    
 层级&索引定位：
    
     #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
    
     //div[@class="tang"]/ul/li[2]/a 逻辑运算： #找到href属性值为空且class属性值为du的a标签 //a[@href="" and @class="du"] 模糊匹配： //div[contains(@class, "ng")] //div[starts-with(@class, "ta")] 取文本： # /表示获取某个标签下的文本内容 # //表示获取某个标签下的文本内容和所有子标签下的文本内容 //div[@class="song"]/p[1]/text() //div[@class="tang"]//text() 取属性： //div[@class="tang"]//li[2]/a/@href

 1.下载：pip install lxml

    
 2.导包：from lxml import etree
    
  
    
 3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点 　　2.1 本地文件：tree = etree.parse(文件名) tree.xpath("xpath表达式") 　　2.2 网络数据：tree = etree.HTML(网页内容字符串) tree.xpath("xpath表达式")

    fromimport etree
    import requests
    
    url'http://www.haoduanzi.com/category-10_2.html'
    headers  {
        'User-Agent''Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
    url_contentheaders).text
    #使用xpath对url_conten进行解析
    #使用xpath解析从网络上获取的数据etree.HTML(url_content)
    #解析获取当页所有段子的标题'//div[@class="log cate10 auth1"]/h3/a/text()')
    
    ele_div_list'//div[@class="log cate10 auth1"]')
    
    text_list#最终会存储12个段子的文本内容forin ele_div_list:
    #段子的文本内容（是存放在list列表中）'./div[@class="cont"]//text()')
    #list列表中的文本内容全部提取到一个字符串中str(text_list)
    #字符串形式的文本内容防止到all_text列表中    text_list.append(text_str)
    print(title_list)
    print

    import requests
    fromimport etree
    fromimport UserAgent
    import base64
    import urllib.request
    url 'http://jandan.net/ooxx'
    ua False).random
    headers  {
    'User-Agent':ua
    }
    # headers = {
    
    #     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    # }headers).text
    
    #查看页面源码：发现所有图片的src值都是一样的。
    #简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。
    #在该函数后面还有一个class值为img-hash的标签，里面存储的是一组hash值，该值就是加密后的img地址
    #加密就是通过js函数实现的，所以分析js函数，获知加密方式，然后进行解密。
    #通过抓包工具抓取起始url的数据包，在数据包中全局搜索js函数名（jandan_load_img），然后分析该函数实现加密的方式。
    #在该js函数中发现有一个方法调用，该方法就是加密方式，对该方法进行搜索
    #搜索到的方法中会发现base64和md5等字样，md5是不可逆的所以优先考虑使用base64解密print(page_text)
    
    tree  etree.HTML(page_text)
    #在抓包工具的数据包响应对象对应的页面中进行xpath的编写，而不是在浏览器页面中。
    #获取了加密的图片url数据'//span[@class="img-hash"]/text()')
    imgUrl_list  []
    forin imgCode_list:
    #base64.b64decode(url)为byte类型，需要转成str'http:'base64.b64decode(url).decode()
    imgUrl_list.append(img_url)
    
    forin imgUrl_list:
    filePath '/']
    urllib.request.urlretrieve(urlfilePath)
    print'下载成功'

 - 需要将pip源设置为国内源，阿里源、豆瓣源、网易源等

    
    - windows
    
     （1）打开文件资源管理器(文件夹地址栏中)
    
     （2）地址栏上面输入 %appdata%
    
     （3）在这里面新建一个文件夹  pip
    
     （4）在pip文件夹里面新建一个文件叫做  pip.ini ,内容写如下即可
    
     [global] timeout = 6000 index-url = https://mirrors.aliyun.com/pypi/simple/ trusted-host = mirrors.aliyun.com - linux （1）cd ~ （2）mkdir ~/.pip （3）vi ~/.pip/pip.conf （4）编辑内容，和windows一模一样 - 需要安装：pip install bs4 bs4在使用时候需要一个第三方库，把这个库也安装一下 pip install lxml

 使用流程：  
    
     - 导包：from bs4 import BeautifulSoup
    
     - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容
    
     （1）转化本地文件：
    
          - soup = BeautifulSoup(open('本地文件'), 'lxml') （2）转化网络文件： - soup = BeautifulSoup('字符串类型或者字节类型', 'lxml') （3）打印soup对象显示内容为html文件中的内容 基础巩固： （1）根据标签名查找 - soup.a 只能找到第一个符合要求的标签 （2）获取属性 - soup.a.attrs 获取a所有的属性和属性值，返回一个字典 - soup.a.attrs['href'] 获取href属性 - soup.a['href'] 也可简写为这种形式 （3）获取内容 - soup.a.string - soup.a.text - soup.a.get_text() 【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容 （4）find：找到第一个符合要求的标签 - soup.find('a') 找到第一个符合要求的 - soup.find('a', title="xxx") - soup.find('a', alt="xxx") - soup.find('a', class_="xxx") - soup.find('a', id="xxx") （5）find_all：找到所有符合要求的标签 - soup.find_all('a') - soup.find_all(['a','b']) 找到所有的a和b标签 - soup.find_all('a', limit=2) 限制前两个 （6）根据选择器选择指定的内容 select:soup.select('#feng') - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器 - 层级选择器： div .dudu #lala .meme .xixi 下面好多级 div > p > a > .lala 只能是下面一级 【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

    import requests
    fromimport BeautifulSoup
    
    headers{
         'User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
     }
    def parse_content(url):
    #获取标题正文页数据headers).text
    soup 'lxml')
    #解析获得标签'div''chapter_content')
    content #获取标签中的数据值return content
    
    if__name__"__main__":
     url 'http://www.shicimingju.com/book/sanguoyanyi.html'
     reponse headers)
     page_text  reponse.text
    
     #创建soup对象'lxml')
     #解析数据'.book-mulu > ul > li > a')
     print(a_eles)
     cap forin a_eles:
         print'开始下载第%d章节'cap)
         cap
         title  ele.string
         content_url 'http://www.shicimingju.com''href']
         content  parse_content(content_url)
    
         with open('./sanguo.txt''w') as fp:
             fp.write(title":"'\n\n\n\n\n')
             print'结束下载第%d章节'

    #!/usr/bin/env python 
    # -*- coding:utf-8 -*-import requests
    
    #指定搜索关键字'enter a word you want to search:')
    #自定义请求头信息{
    'User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    'Connection''close'# 表示每次请求成功后断开连接
    }
    #指定url'https://www.sogou.com/web'#封装get请求参数 {
    'query':word,
    'ie''utf-8'
    }
    #发起请求headers)
    response.encoding'utf-8'#获取响应数据 response.text
    
    with open('./sougou.html''w''utf-8') as fp:
    fp.write(page_text)

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-import requests
    import urllib.request
    if__name__"__main__":
    
    #指定ajax-get请求的url（通过抓包进行获取）'https://movie.douban.com/j/chart/top_list?'#定制请求头信息，相关的头信息必须封装在字典结构中 {
        #定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数'User-Agent''Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
    
    #定制get请求携带的参数(从抓包工具中获取) {
        'type''5',
        'interval_id''100:90',
        'action''',
        'start''0',
        'limit''20'
    }
    #发起get请求，获取响应对象param)
    
    #获取响应内容：响应内容为json串print

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-import requests
    import os
    url 'https://accounts.douban.com/login'#封装请求参数 {
    "source""movie",
    "redir""https://movie.douban.com/",
    "form_email""15027900535",
    "form_password""bobo@15027900535",
    "login""登录",
    }
    #自定义请求头信息{
    'User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    }
    response data)
    page_text  response.text
    
    with open('./douban111.html''w''utf-8') as fp:
    fp.write(page_text)

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-import requests
    import urllib.request
    if__name__"__main__":
    
    #指定ajax-post请求的url（通过抓包进行获取）'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'#定制请求头信息，相关的头信息必须封装在字典结构中 {
        #定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数'User-Agent''Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
    
    #定制post请求携带的参数(从抓包工具中获取) {
        'cname''',
        'pid''',
        'keyword''北京',
        'pageIndex''1',
        'pageSize''10'
    }
    #发起post请求，获取响应对象data)
    
    #获取响应内容：响应内容为json串print

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-import requests
    fromimport UserAgent
    
    ua False).random
    headers  {
    'User-Agent':ua
    }
    
    url 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
    pageNum forin):
    data  {
        'on''true',
        'page': str(page),
        'pageSize''15',
        'productName''',
        'conditionType''1',
        'applyname''',
        'applysn'''
    }
    json_text headers).json()
    all_id_list  []
    forin'list']:
        id 'ID'#用于二级页面数据获取#下列详情信息可以在二级页面中获取# name = dict['EPS_NAME']# product = dict['PRODUCT_SN']# man_name = dict['QF_MANAGER_NAME']# d1 = dict['XC_DATE']# d2 = dict['XK_DATE']        all_id_list.append(id)
    #该url是一个ajax的post请求'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'forin  all_id_list:
        post_data  {
            'id':id
        }
        response headers)
        #该请求响应回来的数据有两个，一个是基于text，一个是基于json的，所以可以根据content-type,来获取指定的响应数据if'Content-Type''application/json;charset=UTF-8':
            #print(response.json())#进行json解析 response.json()
            print'businessPerson'

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-"""
    - cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。
    
    - cookie作用：我们在浏览器中，经常涉及到数据的交换，比如你登录邮箱，登录一个页面。我们经常会在此时设置30天内记住我，或者自动登录选项。
    那么它们是怎么记录信息的呢，答案就是今天的主角cookie了，Cookie是由HTTP服务器设置的，保存在浏览器中，但HTTP协议是一种无状态协议，
    在数据交换完毕后，服务器端和客户端的链接就会关闭，每次交换数据都需要建立新的链接。就像我们去超市买东西，没有积分卡的情况下，
    我们买完东西之后，超市没有我们的任何消费信息，但我们办了积分卡之后，超市就有了我们的消费信息。cookie就像是积分卡，可以保存积分，
    商品就是我们的信息，超市的系统就像服务器后台，http协议就是交易的过程。
    
    - 经过cookie的相关介绍，其实你已经知道了为什么上述案例中爬取到的不是张三个人信息页，而是登录页面。那应该如何抓取到张三的个人信息页呢？
    
    思路：
    
    　　　　1.我们需要使用爬虫程序对人人网的登录时的请求进行一次抓取，获取请求中的cookie数据
    
    　　　　2.在使用个人信息页的url进行请求时，该请求需要携带 1 中的cookie，只有携带了cookie后，
    服务器才可识别这次请求的用户信息，方可响应回指定的用户信息页数据
    """import requests
    if__name__"__main__":
    
    #登录请求的url（通过抓包工具获取）'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201873958471'#创建一个session对象，该对象会自动将请求中的cookie进行存储和携带 requests.session()
       #伪装UA{
        'User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    }
    formdata  {
        'email''17701256561',
        'icode''',
        'origURL''http://www.renren.com/home',
        'domain''renren.com',
        'key_id''1',
        'captcha_type''web_login',
        'password''7b456e6c3eb6615b2e122a2942ef3845da1f91e3de075179079a3b84952508e4',
        'rkey''44fd96c219c593f3c9612360c80310a3',
        'f''https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Dm7m_NSUp5Ri_ZrK5eNIpn_dMs48UAcvT-N_kmysWgYW%26wd%3D%26eqid%3Dba95daf5000065ce000000035b120219',
    }
    #使用session发送请求，目的是为了将session保存该次请求中的cookieheaders)
    
    get_url 'http://www.renren.com/960481378/profile'#再次使用session进行请求的发送，该次请求中已经携带了cookieheaders)
    #设置响应内容的编码格式'utf-8'#将响应内容写入文件'./renren.html''w') as fp:
        fp.write(response.text)

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-import requests
    import random
    if__name__"__main__":
    #不同浏览器的UA [
        # 遨游"user-agent""Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
        # 火狐"user-agent""Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
        # 谷歌        {
            "user-agent""Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
    ]
    #不同的代理IP [
        {"http""112.115.57.20:3128"},
        {'http''121.41.171.223:3128'}
    ]
    #随机获取UA和代理IP random.choice(header_list)
    proxy  random.choice(proxy_list)
    
    url 'http://www.baidu.com/s?ie=UTF-8&wd=ip'#参数3：设置代理proxy)
    response.encoding 'utf-8'
    
    with open('daili.html''wb') as fp:
        fp.write(response.content)
    #切换成原来的IP"http"""

    import requests
    import random
    fromimport etree
    import re
    fromimport UserAgent
    
    # 安装fake-useragent库:pip install fake-useragent'http://www.pearvideo.com/category_1'# 随机产生UA,如果报错则可以添加如下参数：
    # ua = UserAgent(verify_ssl=False,use_cache_server=False).random
    # 禁用服务器缓存：
    # ua = UserAgent(use_cache_server=False)
    # 不缓存数据：
    # ua = UserAgent(cache=False)
    # 忽略ssl验证：
    # ua = UserAgent(verify_ssl=False)
    ua  UserAgent().random
    headers  {
    'User-Agent': ua
    }
    # 获取首页页面数据headers).text
    # 对获取的首页页面数据中的相关视频详情链接进行解析 etree.HTML(page_text)
    li_list '//div[@id="listvideoList"]/ul/li')
    detail_urls  []
    forin li_list:
    detail_url 'http://www.pearvideo.com/''./div/a/@href')[0]
    title './/div[@class="vervideo-title"]/text()')[0]
    detail_urls.append(detail_url)
    forin detail_urls:
    page_text headers).text
    vedio_url 'srcUrl="(.*?)"', page_text, re.S)[0]
    
    data headers).content
    fileName '.mp4'# 随机生成视频文件名称'wb') as fp:
        fp.write(data)
        print' is over'

    import requests
    import random
    fromimport etree
    import re
    fromimport UserAgent
    #安装fake-useragent库:pip install fake-useragent
    #导入线程池模块fromimport Pool
    #实例化线程池对象 Pool()
    url 'http://www.pearvideo.com/category_1'#随机产生UA UserAgent().random
    headers  {
    'User-Agent':ua
    }
    #获取首页页面数据headers).text
    #对获取的首页页面数据中的相关视频详情链接进行解析 etree.HTML(page_text)
    li_list '//div[@id="listvideoList"]/ul/li')
    
    detail_urls #存储二级页面的urlforin li_list:
    detail_url 'http://www.pearvideo.com/''./div/a/@href')[0]
    title './/div[@class="vervideo-title"]/text()')[0]
    detail_urls.append(detail_url)
    
    vedio_urls #存储视频的urlforin detail_urls:
    page_text headers).text
    vedio_url 'srcUrl="(.*?)"',page_text,re.S)[0]
    vedio_urls.append(vedio_url) 
    #使用线程池进行视频数据下载    lambdaheaders).content
    video_data_list  pool.map(func_request,vedio_urls)
    #使用线程池进行视频数据保存lambda data:save(data)
    pool.map(func_saveData,video_data_list)
    def save(data):
    fileName '.mp4'
    with open(fileName,'wb') as fp:
        fp.write(data)
        print'已存储')
        
    pool.close()
    pool.join()

 - 1.对携带验证码的页面数据进行抓取

    
 - 2.可以将页面数据中验证码进行解析，验证码图片下载到本地
    
 - 3.可以将验证码图片提交给三方平台进行识别，返回验证码图片上的数据值
    
     - 云打码平台：
    
     - 1.在官网中进行注册（普通用户和开发者用户）
    
     - 2.登录开发者用户：
    
         - 1.实例代码的下载（开发文档-》调用实例及最新的DLL-》PythonHTTP实例下载）
    
         - 2.创建一个软件：我的软件-》添加新的软件
    
     -3.使用示例代码中的源码文件中的代码进行修改，让其识别验证码图片中的数据值

    #该函数就调用了打码平台的相关的接口对指定的验证码图片进行识别，返回图片上的数据值def getCode(codeImg):
    # 云打码平台普通用户的用户名'bobo328410948'# 云打码平台普通用户的密码'bobo328410948'# 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！# 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！'1f4b564483ae5c907a1d34f8e2f2776c'# 验证码图片文件 codeImg                        
    
    # 验证码类型，# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html# 超时时间，秒# 检查if'username'):
        print'请设置好相关参数再测试')
    else:
        # 初始化 YDMHttp(username, password, appid, appkey)
    
        # 登陆云打码 yundama.login();
        print'uid: %s' uid)
    
        # 查询余额 yundama.balance();
        print'balance: %s' balance)
    
        # 开始识别，图片路径，验证码类型ID，超时时间（秒），识别结果 yundama.decode(filename, codetype, timeout);
        print'cid: %s, result: %s' (cid, result))
        
        return

    import requests
    fromimport etree
    import json
    import time
    import re
    #1.对携带验证码的页面数据进行抓取'https://www.douban.com/accounts/login?source=movie'
    headers  {
    'User-Agent''Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Mobile Safari/537.36'
    }
    page_text headers).text
    
    #2.可以将页面数据中验证码进行解析，验证码图片下载到本地 etree.HTML(page_text)
    codeImg_url '//*[@id="captcha_image"]/@src')[0]
    #获取了验证码图片对应的二进制数据值headers).content
    
    
    #获取capture_id'<img id="captcha_image" src="https://www.douban.com/misc/captcha?id=AdC4WXGyiRuVJrP9q15mqIrt:en&size=s" alt="captcha" class="captcha_image">'
    c_id '<img id="captcha_image".*?id=(.*?)&amp.*?>',page_text,re.S)[0]
    with open('./code.png''wb') as fp:
    fp.write(code_img)
    
    #获得了验证码图片上面的数据值'./code.png')  
    print(codeText)
    #进行登录操作'https://accounts.douban.com/login'
    data  {
    "source""movie",
    "redir""https://movie.douban.com/",
    "form_email""15027900535",
    "form_password""bobo@15027900535",
    "captcha-solution":codeText,
    "captcha-id":c_id,
    "login""登录",
    }
    print(c_id)
    login_text headers).text
    with open('./login.html''w''utf-8') as fp:
    fp.write(login_text)

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    #站长素材案例后续分析：通过细致观察页面的结构后发现，网页中图片的链接是存储在了src2这个伪属性中import requests
    fromimport etree
    
    if__name__"__main__":
     url 'http://sc.chinaz.com/tupian/gudianmeinvtupian.html'
     headers  {
         'User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
     }
     #获取页面文本数据headers)
     response.encoding 'utf-8'
     page_text  response.text
     #解析页面数据（获取页面中的图片链接）#创建etree对象 etree.HTML(page_text)
     div_list '//div[@id="container"]/div')
     #解析获取图片地址和图片的名称forin div_list:
         image_url './/img/@src2'#src2伪属性'.//img/@alt')
         print#打印图片链接print#打印图片名称

 from selenium import webdriver

    
   
    
 browser = webdriver.Chrome()
    
 browser = webdriver.Firefox()
    
 browser = webdriver.Edge()
    
 browser = webdriver.PhantomJS()
    
 browser = webdriver.Safari()

 find_element_by_id()

    
 find_element_by_name()
    
 find_element_by_class_name()
    
 find_element_by_tag_name()
    
 find_element_by_link_text()
    
 find_element_by_partial_link_text()
    
 find_element_by_xpath()
    
 find_element_by_css_selector()

 from selenium import webdriver

    
 import time
    
  
    
 browser = webdriver.Chrome()
    
 browser.get('https://www.taobao.com')
    
 input = browser.find_element_by_id('q') input.send_keys('MAC') time.sleep(1) input.clear() input.send_keys('IPhone') button = browser.find_element_by_class_name('btn-search') button.click() browser.quit()

 from selenium import webdriver

    
 from selenium.webdriver import ActionChains
    
 import time browser = webdriver.Chrome() url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable' browser.get(url) browser.switch_to.frame('iframeResult') source = browser.find_element_by_css_selector('#draggable') target = browser.find_element_by_css_selector('#droppable') actions = ActionChains(browser) # actions.drag_and_drop(source, target) # actions.perform() #执行动作链 actions.click_and_hold(source) time.sleep(3) for i in range(5): actions.move_by_offset(xoffset=17,yoffset=0).perform() time.sleep(0.5) actions.release()

 from selenium import webdriver

    
  
    
 browser = webdriver.Chrome()
    
 browser.get('https://www.jd.com/')
    
 browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    
 browser.execute_script('alert("123")')

 #模拟浏览器的前进后退

    
 import time
    
 from selenium import webdriver
    
  
    
 browser=webdriver.Chrome()
    
 browser.get('https://www.baidu.com') browser.get('https://www.taobao.com') browser.get('http://www.sina.com.cn/') browser.back() time.sleep(10) browser.forward() browser.close()

 from selenium import webdriver

    
  
    
 browser = webdriver.Chrome()
    
 browser.get('https://www.zhihu.com/explore')
    
 print(browser.get_cookies())
    
 browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'}) print(browser.get_cookies()) browser.delete_all_cookies() print(browser.get_cookies())

 from selenium import webdriver

    
 from selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameException
    
  
    
 try: browser=webdriver.Chrome() browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable') browser.switch_to.frame('iframssseResult') except TimeoutException as e: print(e) except NoSuchFrameException as e: print(e) finally: browser.close()

 from selenium import webdriver

    
 import time
    
  
    
 # phantomjs路径
    
 path = r'PhantomJS驱动路径' browser = webdriver.PhantomJS(path) # 打开百度 url = 'http://www.baidu.com/' browser.get(url) time.sleep(3) browser.save_screenshot(r'phantomjs\baidu.png') # 查找input输入框 my_input = browser.find_element_by_id('kw') # 往框里面写文字 my_input.send_keys('美女') time.sleep(3) #截屏 browser.save_screenshot(r'phantomjs\meinv.png') # 查找搜索按钮 button = browser.find_elements_by_class_name('s_btn')[0] button.click() time.sleep(3) browser.save_screenshot(r'phantomjs\show.png') time.sleep(3) browser.quit()

 from selenium import webdriver

    
 from selenium.webdriver.chrome.options import Options
    
 import time # 创建一个参数对象，用来控制chrome以无界面模式打开 chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu') # 驱动路径 path = r'C:\Users\ZBLi\Desktop\1801\day05\ziliao\chromedriver.exe' # 创建浏览器对象 browser = webdriver.Chrome(executable_path=path, chrome_options=chrome_options) # 上网 url = 'http://www.baidu.com/' browser.get(url) time.sleep(3) browser.save_screenshot('baidu.png') browser.quit()

 from selenium.webdriver import Chrome

    
 from selenium.webdriver import ChromeOptions
    
  
    
 option = ChromeOptions()
    
 option.add_experimental_option('excludeSwitches', ['enable-automation']) driver = Chrome(options=option)

    fromimport webdriver
    fromimport sleep
    
    # 后面是你的浏览器驱动位置，记得前面加r'','r'是防止字符转义的'驱动程序路径')
    # 用get打开百度页面"http://www.baidu.com")
    # 查找页面的“设置”选项，并进行点击'设置')[0].click()
    sleep()
    # # 打开设置后找到“搜索设置”选项，设置为每页显示50条'搜索设置')[0].click()
    sleep()
    
    # 选中每页显示50条'nr')
    sleep()
    m.find_element_by_xpath('//*[@id="nr"]/option[3]').click()
    m.find_element_by_xpath('.//option[3]').click()
    sleep()
    
    # 点击保存设置"prefpanelgo")[0].click()
    sleep()
    
    # 处理弹出的警告页面   确定accept() 和 取消dismiss()driver.switch_to_alert().accept()
    sleep()
    # 找到百度的输入框，并输入 美女'kw''美女')
    sleep()
    # 点击搜索按钮'su').click()
    sleep()
    # 在打开的页面中找到“Selenium - 开源中国社区”，并打开这个页面'美女_百度图片')[0].click()
    sleep()
    
    # 关闭浏览器

    import requests
    fromimport webdriver
    fromimport etree
    import time
    
    driver '/Users/bobo/Desktop/chromedriver')
    driver.get('https://qzone.qq.com/')
    #在web 应用中经常会遇到frame 嵌套页面的应用，使用WebDriver 每次只能在一个页面上识别元素，对于frame 嵌套内的页面上的元素，直接定位是定位是定位不到的。这个时候就需要通过switch_to_frame()方法将当前定位的主体切换了frame 里。'login_frame')
    driver.find_element_by_id('switcher_plogin').click()
    
    #driver.find_element_by_id('u').clear()'u''328410948'#这里填写你的QQ号
    #driver.find_element_by_id('p').clear()'p''xxxxxx'#这里填写你的QQ密码    
    driver.find_element_by_id('login_button').click()
    time.sleep()
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    time.sleep()
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    time.sleep()
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    time.sleep()
    page_text  driver.page_source
    
    tree  etree.HTML(page_text)
    #执行解析操作'//ul[@id="feed_friend_list"]/li')
    forin li_list:
    text_list './/div[@class="f-info"]//text()|.//div[@class="f-info qz_info_cut"]//text()')
    text ''.join(text_list)
    print'\n\n\n')
    
    driver.close()

    fromimport webdriver
    fromimport sleep
    import time
    
    if__name__'__main__':
    url 'https://movie.douban.com/typerank?type_name=%E6%81%90%E6%80%96&type=20&interval_id=100:90&action='# 发起请求前，可以让url表示的页面动态加载出更多的数据'C:\Users\Administrator\Desktop\爬虫授课\day05\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'# 创建无界面的浏览器对象 webdriver.PhantomJS(path)
    # 发起url请求    bro.get(url)
    time.sleep()
    # 截图'1.png')
    
    # 执行js代码（让滚动条向下偏移n个像素（作用：动态加载了更多的电影信息））'window.scrollTo(0,document.body.scrollHeight)'
    bro.execute_script(js)  # 该函数可以执行一组字符串形式的js代码)
    
    bro.execute_script(js)  # 该函数可以执行一组字符串形式的js代码)
    bro.save_screenshot('2.png') 
    time.sleep() 
    # 使用爬虫程序爬去当前url中的内容 # 该属性可以获取当前浏览器的当前页的源码（html） './source.html''w''utf-8') as fp: 
        fp.write(html_source) 
    bro.quit()