基于Scrapy的研招网硕士目录爬虫的设计与实现

伍高巍,刘杰,葛晓龙, 徐望成

Computer Knowledge and Technology（2022）

引用 0|浏览8

暂无评分

摘要

研招网作为中国最大的研究生招考信息公布平台,资源丰富.目前主流的爬虫框架有Scrapy、pyspider与crawley,其中Scrapy为目前最流行的爬虫框架.因此,文中主要研究Python语言开发的开源爬虫框架Scrapy所开发的爬虫,对研招网硕士目录进行爬取,举例说明爬虫如何应对网站的反爬措施.

AI 理解论文

溯源树

样例

生成溯源树，研究论文发展脉络

Chat Paper

正在生成论文摘要