为实现对网站是否可用、域名解析是否发生变化、页面响应速度是否正常等状态的监测，需要定时批量采集上述信息，本文基于Scrapy框架设计并实现高性能网站状态批量采集系统。利用Scrapy异步IO框架高吞吐量的特点，可在短时间内完成大批量网站状态信息采集工作，能够有效地支撑后续网站状态监测分析。
科研之友
微信
新浪微博
Facebook
分享链接
