爬取中国天气网获取全国城市编码并存入mysql数据库
发布时间
阅读量：
阅读量
对以下小型演示过程进行记录：通过中国天气网的文字信息获取全国各城市的编码信息，并将这些城市编码数据存储至MySQL数据库中。
对以下小型演示过程进行记录：通过中国天气网的文字信息获取全国各城市的编码信息，并将这些城市编码数据存储至MySQL数据库中。
分析
通过初步分析发现，《中国天气网》文字版网站按照地区将内容划分为若干区域，并共分为八个板块。
对应的url简单的用缩写表示：‘hb’, ‘db’, ‘hd’, ‘hz’, ‘hn’, ‘xb’, ‘xn’, ‘gat’
检查网页源代码，查看标签情况，找到我们需要的城市编码。
再折叠起来查看标签大体情况。
选取中国华北地区作为研究对象后发现，在div标签下设置为class属性为" conMidtab "的区域中包含5个省/直辖市即北京天津河北山西和内蒙古每个省份均对应一个div标签并设置class属性为" conMidtab2 "
经分析可知，在线获取城市编码和相关城市信息时，默认情况下它们会被存储在一个固定宽度和高度设置为td width=83 height=23的表格单元格中。随后我们可以采用path、beautifulsoup4以及正则表达式来进行数据提取工作。在这里我们选择了正则表达式作为提取工具。至此为止的分析已经较为充分。需要注意的是：单独获取该标签内容确实能够满足基本需求但如上文所示 一个网页内总共包含一周七天的城市预报数据 其中六天的数据被隐藏 需要执行过滤操作 否则将导致每次页面访问都重复提取七次城市编码信息
代码展示
import re
import requests
import pymysql
# 定制请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
# 用列表存储爬取下来编码和城市名
cites_codes = []
# 爬取解析一个网页的函数
def parse_url(url):
response = requests.get(url, headers=headers)
text = response.content.decode('utf-8')
# 先滤去后面六个，只留下第一个
info = re.findall(
r'<div class="conMidtab">.*?<div class="conMidtab" style="display:none;">',text,re.DOTALL)[0]
# 获得我们要的信息
infos = re.findall(
r'<td width="83" height="23".*?<a .*?weather/(.*?)\.s.*?>(.*?)</a>', info, re.DOTALL)
# 获取的信息遍历存入列表
for i in infos:
city_code = [i[1],i[0]]
cites_codes.append(city_code)
# 存储到数据库函数
def store_2_mysql():
# 连接数据库
conn = pymysql.connect(host='localhost', user='root',
password='712688', database='test_demo', port=3306)
cursor = conn.cursor()
# 遍历列表存入数据库
for i in cites_codes:
sql = '''
insert into city_code values(0,'%s','%s')''' % (i[0], i[1])
cursor.execute(sql)
# 提交
conn.commit()
conn.close()
# 主函数遍历全部八个地区
def main():
base_url = 'http://www.weather.com.cn/textFC/{}.shtml'
cites = ['hb', 'db', 'hd', 'hz', 'hn', 'xb', 'xn', 'gat']
# 获得每个地区的url
for i in cites:
url = base_url.format(i)
# 开始爬取一个地区的信息
parse_url(url)
# 存储到数据库中
store_2_mysql()
if __name__ == '__main__':
main()
AI写代码
查看数据库中存储情况：
全部评论 (0)
还没有任何评论哟~