项目实训报告-12 工作总结
发布时间
阅读量：
阅读量
项目经过
大致一共经历了以下阶段
1.了解主要任务
2.后端小组经过沟通后，大致确认了YouTube等网站的爬取需要
3.分配到YouTube的我最终确定了爬取数据以及其类型
4.完成关于YouTube爬取的scrapy框架的基本文件 的设计
本项目的开发团队基于YouTube平台的数据爬取功能进行了深入研究，并将其结构成功构建到spider.py文件中。项目团队采用高效的算法策略对数据进行采集，并将其存储于mysql数据库中。
6.临时得到了要爬取新闻网站的任务
7.分配到Worldjournal的我最终确定了爬取数据以及其类型
开发一个基于Worldjournal爬取的数据处理流程，并构建scrapy框架中的spider.py脚本。具体而言是，在执行数据爬取操作后，会将结果存储到MySQL数据库中。
项目工作量
YouTube爬虫：1400行左右
**
**
Worldjournal爬虫：800行左右
项目收获
熟悉地运用了scrapy框架，并熟悉了Java前端与Python后端服务之间的连接机制；并明确了数据库在整个项目中的角色定位；还了解到，在一个公司处理项目时的具体运作流程和职责分工；并结识了一群经验丰富的同事、热情可人的导师以及技术精湛的朋友；相信这段实践经验将为其未来参与实习或正式岗位积累宝贵的经验基础。
全部评论 (0)
还没有任何评论哟~