爬取学校新闻网站信息

 # -*- coding:UTF-8 -*-

    
 import requests
    
 from bs4 import BeautifulSoup
    
 import json
    
 import urllib
    
 import request
    
  
    
 if __name__ == "__main__":
    
     server = 'http://www.jit.edu.cn/'
    
     url = 'http://www.jit.edu.cn/myNews_list_out.aspx?infotype=2'
    
     #根据当前url获得网页回应
    
     req = requests.get(url)
    
     #print(req.text)
    
     
    
     #获取回应中的HTML内容
    
     html = req.text
    
  
    
     data = {'__VIEWSTATE': ''}
    
     
    
     subLink = BeautifulSoup(html,"html.parser")
    
     data['__VIEWSTATE'] = subLink.find('input',{'id':"__VIEWSTATE"})['value']
    
     
    
     r = requests.post(url,data)
    
     #利用BS函数对HTMl内容进行处理，具体请参照BS函数用法：http://beautifulsoup.readthedocs.io/zh_CN/latest/ 
    
     div_bf = BeautifulSoup(r.text,"html.parser")
    
     #获得html中class='typelist'的div部分
    
     div = div_bf.find_all('div', class_ = 'typelist')
    
     #获取div[0]部分的内容并对其进行处理
    
     a_bf = BeautifulSoup(str(div[0]),"html.parser")
    
     #获取div[0]中a的部分
    
     a = a_bf.find_all('a')
    
     #获得div[0]中span部分
    
     b = a_bf.select('span')
    
     for each,each2 in zip(a,b):
    
     #each.string获取a中包含的字符，each2.string获得b中包含的字符，each.get('href')获取a中包含的相对地址
    
     print(each.string,each2.string,'\n',server + each.get('href'))
    
     
    
     
    
     subLink = BeautifulSoup(r.text,"html.parser")
    
     data['__VIEWSTATE'] = subLink.find('input',{'id':"__VIEWSTATE"})['value']
    
     
    
     r = requests.post(url,data)
    
     #利用BS函数对HTMl内容进行处理，具体请参照BS函数用法：http://beautifulsoup.readthedocs.io/zh_CN/latest/ 
    
     div_bf = BeautifulSoup(r.text,"html.parser")
    
     #获得html中class='typelist'的div部分
    
     div = div_bf.find_all('div', class_ = 'typelist')
    
     #获取div[0]部分的内容并对其进行处理
    
     a_bf = BeautifulSoup(str(div[0]),"html.parser")
    
     #获取div[0]中a的部分
    
     a = a_bf.find_all('a')
    
     #获得div[0]中span部分
    
     b = a_bf.select('span')
    
     for each,each2 in zip(a,b):
    
     #each.string获取a中包含的字符，each2.string获得b中包含的字符，each.get('href')获取a中包含的相对地址
    
     print(each.string,each2.string,'\n',server + each.get('href'))
    
     
    
 #     bf = BeautifulSoup(html,"html.parser")
    
 #     #获得html中class='typelist'的div部分
    
 #     texts = bf.find_all('div', class_ = 'typelist')
    
 #     #利用']\n\n'代替']\x20'，实现换行
    
 #     print(texts[0].text.replace(']\x20',']\n\n'))
    
    
    
    
    代码解读