Python 爬虫：爬取雪球股票数据并存储到 MySQL 数据库

    import pymysql  # 用于连接 MySQL 数据库
    class StockSpider:
    def __init__(self):
        """初始化爬虫对象，设置数据库连接和表创建"""
        self.conn = pymysql.connect(
            host='localhost',  
            user='root',  # 替换为你的 MySQL 用户名
            password='******',  # 替换为你的 MySQL 密码
            charset='utf8mb4'  # 设置字符集
        )
        self.cursor = self.conn.cursor()  
        self.create_database()  
        self.conn.select_db('******')  
        self.create_table()  
    pymysql.connect()：用于连接数据库。
    create_database() 和 create_table() 方法用于创建数据库和表结构。

    def create_database(self):
        """创建数据库（如果不存在）"""
        self.cursor.execute(
            'CREATE DATABASE IF NOT EXISTS ****** CHARACTER SET utf8mb4;'
        )
        self.conn.commit()
    
    def create_table(self):
        """创建 stock 表，定义字段和类型"""
    		#创建表
        
        self.cursor.execute(create_table_query)
        self.conn.commit()

    import requests  # 用于发送 HTTP 请求
    
    def fetch_data(self, page):
        """从 API 获取股票数据，并返回 JSON 格式的结果"""
        url = f'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page={page}&size=90&order=desc&order_by=percent&market=CN&type=sh_sz'
        headers = {
            "cookie": "******",  # 替换为实际的 Cookie
            "user-agent": "******",  # 替换为实际的 User-Agent
        }
        response = requests.get(url=url, headers=headers)
        if response.status_code == 200:
            return response.json()
        else:
            print(f"请求失败，状态码：{response.status_code}")
            return None

    def process_and_store_data(self, data_list):
        """处理获取的数据，并存储到数据库"""
        for index in data_list:
            pe_ttm = index.get('pe_ttm', 0)
            if pe_ttm is None or pe_ttm > 9999999.999999:
                pe_ttm = None
    
            sql = """
               插入语句
            """
            values = (
                #提取数据
            )
            try:
                print(f"插入数据：{values}")
                self.cursor.execute(sql, values)
                self.conn.commit()
            except pymysql.MySQLError as e:
                print(f"插入数据错误：{e}")

    def run(self):
        """主函数，爬取所有页面的数据并存储"""
        for page in range(1, 57):
            print(f"*********** 正在爬取第 {page} 页的数据 ************")
            json_data = self.fetch_data(page)
            if json_data:
                data_list = json_data.get('data', {}).get('list', [])
                if data_list:
                    self.process_and_store_data(data_list)
                else:
                    print(f"第 {page} 页无数据")

    def close(self):
        """关闭数据库连接"""
        self.cursor.close()
        self.conn.close()
    
    if __name__ == '__main__':
    spider = StockSpider()  # 创建爬虫对象
    spider.run()  # 运行爬虫
    spider.close()  # 关闭数据库连接
    print("数据爬取完成")