Python 简单的爬虫爬取网页框架(爬取网页框架+实例)
发布时间
阅读量：
阅读量
Python 这是一个基础的爬虫网页框架
Python爬取网页内容，其实大部分爬取都是在其源代码中寻找代码规律。
举个例子吧:
如：小说名的章节节数，第1~100章，我们找的话就是找第[ ]章中的[ ]内容，然后根据章节网页链接寻找规律进行跳转，把有规律的数字部分进行研究。
当然，我这次举的例子是爬取的豆瓣的top 500，网页电影名，评分，评论。
爬取效果部分
下面是代码部分:
不懂的地方，可以自己进行测试来加深自己的映像，感觉到了就抓住这个点去死磕它，通过解决问题，这样你就可以学会自己去掌握它。
本次爬虫涉及几个知识点.
- 正则表达式
- 文件的写入
- 异常抛出处理
# 爬取豆瓣top 500
# 电影名，评分，评论
# 难易:⭐⭐
# 一.导入
# import re 导入re包
# import requests 导入正则表达式
#
# def aa():
# rest = requests.get('https://movie.douban.com/top250') 二.访问链接
# s = rest.content.decode() 三.获取该网页源代码
# 四.编写正则表达式,取到所需内容
# ss = re.findall(r'<span class="title">(.*)</span>',s) 爬取片名
# ss1 =re.findall(r'<span class="rating_num" property="v:average">(.*)</span>',s) 爬取评分
# ss2=re.findall(r'<span>(\d*)人评价</span>',s) 爬取评论
# 五.去除无关信息
# b = []
# for i in range(len(ss)):
# aa = re.findall(r' .*', ss[i])
# if aa == []:
# b.append(ss[i]) 得到所需信息 b=ss
#六.写入文件
# for i in range(len(b)):
# print(b[i], ss1[i], ss2[i])
# with open(r"C:\Users\ 陈嘉玉\Desktop\ex.txt",'a+') as ff:
# ff.writelines(b[i]+' '+ss1[i]+' '+ss2[i]+'\n')
#七.抛出异常
# try:
# aa()
# print("已爬取")
# # except Exception as c:##
# # print("爬取失败，错误提示:"+c)##
# else:
# print("爬取失败，错误提示:"+c)全部评论 (0)
还没有任何评论哟~