Python爬取数据并写入MySQL
发布时间
阅读量：
阅读量
关于爬虫爬取数据并存入MySQL数据库（以东方财富网上的股票数据为例，网页：深南电A(000037)资金流向 _ 数据中心 _ 东方财富网）
第一步，创建数据库中的数据表
import requests
import pandas as pd
import re
import pymysql
db = pymysql.connect(host='localhost', user='root', password='ls101945', db='东方财富', port=3306, charset='utf8')
cursor = db.cursor()#建立游标
cursor.execute("DROP TABLE IF EXISTS 东方财富")#如果有表叫东方财富，删除表
sql = """
create table 东方财富(
日期 char(20) not null,
主力净流入净额 char(20),
小单净流入净额 char(20),
中单净流入净额 char(20),
大单净流入净额 char(20),
超大单净流入净额 char(20) ,
主力净流入净占比 char(20),
小单净流入净占比 char(20),
中单净流入净占比 char(20),
大单净流入净占比 char(20),
超大单净流入净占比 char(20),
收盘价 char(20),
涨跌幅 char(20))
"""
try:#如果出现异常对异常处理
# 执行SQL语句
cursor.execute(sql)
print("创建数据库成功")
except Exception as e:
print("创建数据库失败：case%s" % e)
python
导入pymysql，连接到东方财富数据库，开启游标功能，创建游标对象（注意：当开启游标功能执行这个sql语句后，系统并不会将结果直接打印到频幕上，而是将上述得到的结果，找个地方存储起来，提供一个游标接口给我们，当你需要获取数据的时候，就可以从中拿数据），使用sql语句建立数据表，设计字段名，类型，能不能为空值。使用execute()方法，执行sql语句。在程序开发中，如果对某些代码的执行不能确定(程序语法完全正确)，可以增加try来捕获异常，try:尝试执行的代码，except:出现错误的处理。
第二步，爬取数据
在目标网页中点击左键-检查-网络，刷新网页，找到数据存储的位置
url = 'https://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get?cb=jQuery112301445006905131534_1634624378230&lmt'\
'=0&klt=101&fields1=f1%2Cf2%2Cf3%2Cf7&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf62%'\
'2Cf63%2Cf64%2Cf65&ut=b2884a393a59ad64002292a3e90d46a5&secid=0.000037&_=1634624378231'
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50'
}
#发送url链接的请求，并返回响应数据
response = requests.get(url=url, headers=headers)
page_text = response.text
#使用正则表达式获取数据
pat = '"klines":\[(.*?)\]'#(.*?)就是我们要取出的部分
data = re.compile(pat, re.S).findall(page_text)#compile函数编译正则匹配表达式，re.S代表可以换行匹配，使用findall函数选定数据集，也就是爬取的所有源代码
python
url和headers可以在其中找到，构造请求头，发送url链接的请求，并返回响应数据，使用正则表达式获取数据。
第三步，写入数据库
datas = data[0].split('","')#分割字符串
for i in range(len(datas)):
stock = list(datas[i].replace('"', "").split(","))#把“替换为空格，以,为分隔符分割
#用sql语言写入数据表
sql1 = """
insert into 东方财富(
日期,
主力净流入净额,
小单净流入净额,
中单净流入净额,
大单净流入净额,
超大单净流入净额,
主力净流入净占比,
小单净流入净占比,
中单净流入净占比,
大单净流入净占比,
超大单净流入净占比 ,
收盘价 ,
涨跌幅 )value('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')
""" % (
stock[0], stock[1], stock[2], stock[3], stock[4], stock[5], stock[6], stock[7], stock[8], stock[9], stock[10],
stock[11], stock[12])#将值插入到占位符%s
# 执行 insert 增加的语句 如果出现异常对异常处理
try:
cursor.execute(sql1)
db.commit() #进行数据库提交，写入数据库
except:
cursor.rollback() #数据回滚，多次操作要么都执行，要么都不执行
print('写入失败')
# 关闭游标连接
cursor.close()
# 关闭数据库连接
db.close()
print('写入成功！')
python
把爬取出来的数据按逗号分割，用sql语言的insert插入到东方财富数据表，value赋值。使用execute()方法，执行sql语句后一定要用commit()方法提交，在数据库里增、删、改的时候，必须要进行提交，否则插入的数据不生效。rollback()方法：不想提交增、删、改操作，用此方法回滚取消操作，有多次操作时，全部取消。用try捕获异常，如果执行sql或向数据库提交时有异常，就取消所有对数据库的修改操作。
最终效果
全部评论 (0)
还没有任何评论哟~