基于Heritrix的增量式爬虫设计与实现

孟庆浩,王晶,沈奇威

Telecommunications Technology（2014）

被引用1|浏览9

摘要

Heritrix是一个开源的、可扩展的Web爬虫,页面下载功能强大,但Heritrix被定义为一个通用网络爬虫,其在增量爬取方面功能有限.针对目前使用较为广泛的两个Heritrix版本,首先讨论Heritrix 1.14.4增量功能模块的不足之处,然后基于Heritrix 3.x,详细阐述一套新的增量功能框架的设计方案,这个框架既能有效利用Heritrix 3.×的页面下载功能,又能高效地对数据进行增量抓取.

更多

上传PDF