爬虫笔记--Requests库的应用（网页爬取）

 #爬取网页通用代码框架

    
 import requests
    
 def getHTMLText(URL):
    
     try:
    
     r = requests.get(URL,timeout=30)
    
     #timeout设置一个返回时间
    
     # 如果在这个时间之内请求没有返回
    
     # 就返回一个TimeError
    
     r.raise_for_status()
    
     r.encoding = r.apparent_encoding
    
     #将网页的编码实际分析值传递给猜测值
    
     return r.text
    
     except:
    
     return "产生异常"
    
 if __name__=="__main__":
    
     URL = "http://www.baidu.com"
    
     print(getHTMLText(URL)) # 打印爬取信息

 #爬取web网页的photo文件

    
 import requests
    
 import os # os库对计算机文件进行操作(主要用来判断文件是否存在和建立文件)
    
 url = "http://img0.dili360.com/pic/2018/09/26/5bab38dfd80333y53304453_t.jpg"
    
 root = "X://Get-web-photo//"
    
 path = root + url.split("/")[-1]
    
 #运用split函数对url进行切片,并用分割后的字符串列表的最后一个元素
    
 #这里这么操作可以得到文件的名字和后缀,配合OS库就能够完成文件的保存
    
 try:
    
     if not os.path.exists(root): #判断根目录是否存在，不存在就建立一个这样的根目录
    
     os.mkdir(root) #建立
    
     if not os.path.exists(path): #判断文件是否存在
    
     r = requests.get(url)
    
     with open (path,'wb') as f:#打开路径写入文件
    
         f.write(r.content)
    
         print("文件保存成功")
    
         f.close()
    
     else:
    
     print("文件已经存在")
    
 except:
    
     print("获取文件失败")

 import requests

    
 keyword = "111.227.147.21"
    
 try:
    
     kv = {'ip':keyword} # 构建键值对替换ip进行查询
    
     r = requests.get("http://m.ip138.com/ip.asp",params = kv)
    
     print(r.request.url) #打印出ip地址查询界面的url
    
     r.raise_for_status() # 错误返回函数
    
     print(len(r.text)) # 页面字节长度
    
     print(r.text[-500:]) # 打印页面后500个字节信息
    
 except:
    
     print("查询失败")