什么是增量式网络爬虫？它的目标有哪些

 

    持续关注小编的朋友们知道，小编之前的文章已经介绍过有关网络爬虫的知识了，今天，就跟随着小编的脚步，一起来了解一下什么是增量式网络爬虫吧！

    增量式网络爬虫（IncrementalWebCrawler）是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫，和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面，它能够在一定程度上保证所爬行的页面是尽可能新的页面。增量式网络爬虫的体系结构[包含爬行模块、排序模块、更新模块、本地页面集、待爬行URL集以及本地页面URL集，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。

    增量式爬虫有两个目标：保持本地页面集中存储的页面为最新页面和提高本地页面集中页面的质量，为实现第一个目标，增量式爬虫需要通过重新访问网页来更新本地页面集中页面内容，常用的方法有：1）统一更新法：爬虫以相同的频率访问所有网页，不考虑网页的改变频率；2）个体更新法：爬虫根据个体网页的改变频率来重新访问各页面；3）基于分类的更新法：爬虫根据网页改变频率将其分为更新较快网页子集和更新较慢网页子集两类，然后以不同的频率访问这两类网页。

    IBM开发的WebFountain是一个功能强大的增量式网络爬虫，它采用一个优化模型控制爬行过程，并没有对页面变化过程做任何统计假设，而是采用一种自适应的方法根据先前爬行周期里爬行结果和网页实际变化速度对页面更新频率进行调整，为实现第二个目标，增量式爬虫需要对网页的重要性排序，常用的策略有：广度优先策略、PageRank优先策略等。北京大学的天网增量爬行系统旨在爬行国内Web，将网页分为变化网页和新网页两类，分别采用不同爬行策略，为缓解对大量网页变化历史维护导致的性能瓶颈，它根据网页变化时间局部性规律，在短时期内直接爬行多次变化的网页，为尽快获取新网页，它利用索引型网页跟踪新出现网页。

    了解了有关增量式网络爬虫的的知识，是不是感觉豁然开朗啊。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里！