Python构建自己的代理IP池
发布时间
阅读量：
阅读量
代码
目的
在爬取过程中，在遭遇站点反爬虫策略后，则需要定期更换IP地址。因此建议建立一个高效的IP池以供后续爬虫使用。
做法
获取并筛选出可靠代理IP信息存储到数据库中
依赖
requests: HTTP请求
pyquery: 基于Python实现的jQuery库用于高效地解析DOM文档中的HTML元素
PyMySQL： MySQL ，该实例被存储于 MySQL 数据库中。对于数据的处理而言，在数据库上更为便捷。
实现
爬取网页，获取数据
def getProxy(protocal, link, page=1):
try:
url = f'https://www.xicidaili.com/{link}/{page}'
res = requests.get(url, headers={'User-Agent': UA['PC']})
if (res and res.status_code == 200):
html = pq(res.text)('#ip_list tr')
for i in range(html.length):
host = pq(tds[1]).text()
port = pq(tds[2]).text()在上述展示的代码片段中, 我们通过解析西刺免费代理IP网这一网络架构, 成功获取了目标网络接口及对应端口号信息.
检测IP，端口的有效性
西刺免费代理IP网提供的大量IP缺乏有效性特征, 因此必须采取过滤措施才能存入数据库
def checkProxy(proxylink):
try:
ret = requests.get(
'https://www.baidu.com',
proxies={'https': proxylink},
timeout=5,
)
if (ret and ret.status_code == 200):
print(proxylink)
return True
except Exception as e:
pass我们使用上面的方法，代理请求百度地址，检测代理的有效性
将有效的IP入库，已在数据库中但是无效的IP，移除
# 连接数据库
def connect():
try:
db = pymysql.connect(
MYSQL['host'],
MYSQL['username'],
MYSQL['password'],
MYSQL['dbname'],
)
cursor = db.cursor()
return {'db': db, 'cursor': cursor}
except Exception as e:
print('connect error:', e)
*****
mysql = connect()
# 检查DB 是否已存在某代理地址
mysql['cursor'].execute(
f'select count(*) from proxy where host = "{host}" and port = "{port}"',
)
# 如果代理有效，且不存在DB中，代理入库
mysql['cursor'].execute(
f'insert into proxy(host,port,protocal) values("{host}","{port}","{protocal}")'
)
mysql['db'].commit()
# 如果代理无效，但是又存在于DB中，删除代理
mysql['cursor'].execute(
f'delete from proxy where host = "{host}" and port = "{port}"'
)
mysql['db'].commit()
# 关闭连接
mysql['db'].close()由于每个代理都需要检测其有效性的缘故，在本系统中采用了多线程技术来完成所有检测任务，并确保每一个检测任务都能高效运行。为了进一步提高系统的性能，在设计过程中特别考虑了每条记录的处理流程，并采取了相应的优化措施以减少资源浪费。在具体实现过程中，默认情况下会为每一个MySQL连接分配独立的资源池以确保系统的稳定运行
上面阐述的比较碎片，具体的实现可以看源码，代码包含SQL结构。
展示效果
全部评论 (0)
还没有任何评论哟~