爬取东方财富网股评

    from lxml import etree
    # lxml 是一种使用 Python 编写的库，可以迅速、灵活地处理 XML
    # 利用etree.HTML()将html字符串转化为element对象
    import requests  
    from fake_useragent import UserAgent
    # 生成随机请求头，反爬
    import time
    # 延迟，设置时间延迟
    import csv
    
    
    f = open('../白酒.csv', 'a', encoding='utf-8-sig', newline="")  # 创建文件对象
     # 修改文件名；mode指定文件写入方式为a，表示数据追加，w表示覆盖原文本，newline表示消除空行
    csv_write = csv.DictWriter(f, fieldnames=['title', 'date']) #列名为title和date
    csv_write.writeheader()  #写入一次表头数据
    #设置两个空列表
    all_title = []
    all_date = []
    for i in range(1,3): #这里爬取两页数据，刚开始爬取一页可以去掉循环
    print('##################正在抓取第{}页的数据#######################'.format(i))
    url = 'http://guba.eastmoney.com/list,bk0896,f_{}.html'.format(str(i))  
    #复制自己的url
    headers = {
        'User-Agent': UserAgent().random  #  #生成随机请求头
    }
    response = requests.get(url=url, headers=headers) #发送http请求，获取响应数据
    html = etree.HTML(response.text) #数据解析，服务器渲染需要去html中提取到我们想要的东西
       
    title = html.xpath('//div[contains(@class,"articleh normal_post")]/span[@class="l3 a3"]/a/text()')   
    #div下的class属性为articleh normal_post 的根元素span中的class属性为l3 a3的根元素为a的文本信息
    date = html.xpath('//div[contains(@class,"articleh normal_post")]//span[@class="l5 a5"]//text()')
    all_title += title
    all_date += date
    
    for title, date in zip(all_title, all_date):
        data_dict = {'title': title, 'date': date}
        csv_write.writerow(data_dict)
    # 保存为一个csv文件

    title = html.xpath('//div[contains(@class,"articleh normal_post")]/span[@class="l3 a3"]/a/text()')   
    #div下的class属性为articleh normal_post 的根元素span中的class属性为l3 a3的根元素为a的文本信息

    # 导入库
    ## 使用bs4进行爬取
    import requests
    from bs4 import BeautifulSoup  #BeautifulSoup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码
    import csv
    from fake_useragent import UserAgent
    # 生成随机请求头，反爬
    import time
    # 延迟，设置时间延迟

    file = open('白酒股评.csv', mode='w', encoding='utf-8-sig', newline='')
     # mode指定文件写入方式为a，表示数据追加，newline消除空行,w表示覆盖原文本
    csv_write = csv.DictWriter(file, fieldnames=[ '标题',  '日期'])
    csv_write.writeheader()  #写入一次表头数据
    
    headers = {
    'User-Agent' : UserAgent().random
    }
    for i in range(1, 3):
    print('##################正在抓取第{}页的数据#######################'.format(i))
    url = 'http://guba.eastmoney.com/list,bk0896_{}.html'.format(str(i))
    page_text = requests.get(url=url, headers=headers)
    #解析数据
    #1、把页面源代码交给BeautifulSoup进行处理，生成bs对象
    soup = BeautifulSoup(page_text.text, "html.parser")   #指定html解析器
    #print(soup)
    #2、从bs对象中查找数据
    # find（标签，属性=值）
    # find_all（标签，属性=值）
    title = soup.find_all("span", class_='l3 a3')
    date = soup.find_all("span", class_='l5 a5')
    
    #print(title, time)
    #score = soup.find_all("span",class_="rating_nums")
    time.sleep(10)  #延迟10秒，如果有时候循环比较多的时候会被拒绝爬取，则调高延迟的时间
    
    for x, y in zip(title, date):
        title = x.get_text().strip("\n /") #同时去掉左右两边的空格
        date = y.get_text().strip("\n /")
        data_dict = {'标题': title, '日期': date}
        csv_write.writerow(data_dict)
        # strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列

    from bs4 import BeautifulSoup

    file = open('./aa.html', 'rb') 
    # 'r':默认值，表示从文件读取数据。
    #'w':表示要向文件写入数据，并截断以前的内容
    #'a':表示要向文件写入数据，添加到当前内容尾部
    #'r+':表示对文件进行可读写操作（删除以前的所有数据）
    #'r+a'：表示对文件可进行读写操作（添加到当前文件尾部）
    #'b':表示要读写二进制数据
    #'rb':是读取二进制文件
    html = file.read() 
    bs = BeautifulSoup(html,"html.parser") # 缩进格式
    print(bs.prettify()) # 格式化html结构
    print(bs.title) # 获取title标签的名称
    print(bs.title.name) # 获取title的name
    print(bs.title.string) # 获取head标签的所有内容
    print(bs.head) 
    print(bs.div)  # 获取第一个div标签中的所有内容
    print(bs.div["id"]) # 获取第一个div标签的id的值
    print(bs.a) 
    print(bs.find_all("a")) # 获取所有的a标签
    print(bs.find(id="u1")) # 获取id="u1"
    for item in bs.find_all("a"): 
    print(item.get("href")) # 获取所有的a标签，并遍历打印a标签中的href的值
    for item in bs.find_all("a"): 
    print(item.get_text())

    list_1 = [1, 2, 3]

    list_2 = ['a', 'b', 'c']
     
    for x, y in zip(list_1, list_2):
    print(x, y)
    
    # 输出结果
    1 a
    2 b 
    3 c