为能对全国高职专业点设置作大数据分析,需要设计与实现一个爬虫来爬取全国职业院校专业设置管理与公共信息服务平台中的专业点设置和专业名录数据。为此,给出了该爬虫的功能架构和技术架构、数据库设计的ER图和数据表。设计并实现了该爬虫的项目管道、数据项、网站爬虫、异常处理中间件、伪装中间件等技术模块,使用该爬虫爬取了275,873条专业点设置数据、770个专业名录数据。
科研之友
微信
新浪微博
Facebook
分享链接
