python爬取豆瓣电影top250_python3爬取豆瓣top250电影
需求：爬取豆瓣电影top250的排名、电影名称、评分、评论人数和一句话影评
环境：python3.6.5
准备工作：
豆瓣电影top250（第1页）网址：https://movie.douban.com/top250?start=0 或者 https://movie.douban.com/top250
每页展示25个电影，一共10张翻页
第2页：https://movie.douban.com/top250?start=25&filter=
第3页：https://movie.douban.com/top250?start=50&filter=
……
最后一页：https://movie.douban.com/top250?start=225&filter=
由此可见，除了首页代码其他9页（相对首页增加了一些字符串）以25递增
查看每页的html代码：
在浏览器空白区域点击“查看源代码”（不同的浏览器可能起的名字不一样），找到所需要的内容。
快速定位html有效信息的方法：
例如排名第一的电影是《肖申克的救赎》，在html源码中搜索（ctrl+F）这个名字（不要加书名号），快速定位大致位置，如下图
仔细研究html代码：
所有影片存放在ol列表中，每一部影片在一个li中，需要提取的信息在不同的标签中，如下图所示
代码逻辑为：查找ol→li→各个标签
需要用到的第三方库：
from bs4 import BeautifulSoup asbsfrom urllib import request
读取html源码（以首页为例）
1 h="https://movie.douban.com/top250"
2 resp =request.urlopen(h)3 html_data = resp.read().decode('utf-8')4 soup = bs(html_data,'lxml')5 #print(soup.prettify())
第5行的soup.prettify()输出的比较好看，但是有可能更改一些并列标签的前后位置，用这个输出只是看起来更人性化一些
查找ol标签，获取本页面上25部电影
通过class名称，因为这个class是唯一命名的，因此无需find_all，只需要find（这个是查找第一个）
1 movieList = soup.find('ol',attrs={'class':"grid_view"})
在ol内查找li标签，无class和id，只需标签名即可
1 movie = movieList.find_all('li')#获取每一个li（每个li是一个电影），以数组方式
返回结果是一位数组，每个元素是li标签
在每一个li标签内提取有用信息
1 for i in range(0,25):2 name = movie[i].find('span',class_="title").string#获得影片名称
3 score = movie[i].find('span',class_="rating_num").string#获得影片评分
4 num = movie[i].find('div',class_="star").find_all('span')[-1].string.strip('人评价')#获得影片评价人数
5 quote = movie[i].find('span',class_="inq")#获得影片短评
.string和get_text()在本代码中显示结果一样（有些代码中返回显示也是不同的），但是返回类型不同
注意第4行获取评价人数时，span标签内无class和id等，只能先把div中所有的信息提取（返回结果是一位数组），人数在数组中最后一个，通过数组方法[-1]提取这个标签，通过string提取标签内内容，再用strip字符串方法去掉“人评价”这几个字
还有一点需要注意是，有几部影片是没有短评的（通过运行程序的结果才能看到，返回的是None），如果需要显示的更加人性化一些，添加以下语句：
1 if quote isNone:2 quote = "暂无"
3 else:4 quote = quote.string
查找所有信息：不要想着把10页的html先拼接成一个html处理，这样的的html进行soup时只能提取到第一个标签内的，也就是说只能查到第一页的信息。因此总体思路还是遍历每一页的电影信息，然后将结果拼接成数组。如果只是print出来或者逐行写入歧途文件的话无需整合所有影片
写入txt文件，提取出的结果是二维数组
1 #将数组movieData250写入文件txt
2 importcodecs3 s ="—————————豆瓣电影top250——————————\r\n"
4 f = codecs.open("豆瓣电影top250.txt",'w','utf-8')5 f.write(s)6
7 for i inmovieData250:8 f.write(str(i)+'\r\n') #\r\n为换行符
9 f.close()
源代码：
1 #豆瓣电影前250信息,写入txt文件
2
3 from bs4 importBeautifulSoup as bs4 from urllib importrequest5 k =06 n = 1
7 movieData250 =[]8
9 #读取每一个网页25个电影信息
10 definfo25():11 movieData =[]12 for i in range(0,25):13 name = movie[i].find('span',class_="title").string#获得影片名称
14 score = movie[i].find('span',class_="rating_num").string#获得影片评分
15 num = movie[i].find('div',class_="star").find_all('span')[-1].string.strip('人评价')#获得影片评价人数
16 quote = movie[i].find('span',class_="inq")#获得影片短评
17 if quote isNone:18 quote = "暂无"
19 else:20 quote =quote.string21 #movieData[i] = [i+1,name,score,num,quote]
22 movieData.append([i+1+k,name,score,num,quote])23 #print(movieData)
24 returnmovieData25 #movieData250 = movieData250 + movieData
26
27
28
29 while(k ==0):30 h="https://movie.douban.com/top250"
31 resp =request.urlopen(h)32 html_data = resp.read().decode('utf-8')33 soup = bs(html_data,'lxml')34 #print(soup.prettify())
35 #movieList=soup.find('ol')#寻找第一个ol标签，得到所有电影
36 #movieList=soup.find('ol',class_="grid_view")#以下两种方法均可
37 movieList = soup.find('ol',attrs={'class':"grid_view"})38 movie = movieList.find_all('li')#获取每一个li（每个li是一个电影），以数组方式
39 movieData250 +=info25()40 k += 25
41
42 while(k<250):43
44 h = "https://movie.douban.com/top250?start=" + str(k) + "&filter="
45 resp=request.urlopen(h)46 html_data=resp.read().decode('utf-8')47 soup=bs(html_data,'lxml')48 #print(soup.prettify())
49 #movieList=soup.find('ol')#寻找第一个ol标签，得到所有电影
50 #movieList=soup.find('ol',class_="grid_view")#以下两种方法均可
51 movieList=soup.find('ol',attrs={'class':"grid_view"})52 movie=movieList.find_all('li')#获取每一个li（每个li是一个电影），以数组方式
53 movieData250 +=info25()54 k+=25
55
56 print(movieData250)57
58
59 #将数组movieData250写入文件txt
60 importcodecs61 s ="—————————豆瓣电影top250——————————\r\n"
62 f = codecs.open("豆瓣电影top250.txt",'w','utf-8')63 f.write(s)64
65 for i inmovieData250:66 f.write(str(i)+'\r\n') #\r\n为换行符
67 f.close()
输出的txt：
显示结果不是很友好~~~