我们学习网络爬虫的主要目的是什么呢

 

    学习网络爬虫对于这个网络时代是十分重要的，那么网络爬虫的主要目的是什么呢，本文，就一起来看一下吧。

    爬虫的目标是尽可能高的提高页面的新鲜度，同时降低页面的过时性，这一目标并不是完全一样的，第一种情况，爬虫关心的是有多少页面时过时的；在第二种情况，爬虫关心的页面过时了多少。两种最简单的重新访问策略是在2003年由Cho和Garcia-Molina研究的：统一策略，使用相同的频率，重新访问收藏中的所有的链接，而不考虑他们更新频率；正比策略：对变化越多的网页，重新访问的频率也越高。网页访问的频率和网页变化的频率直接相关。

    两种情况下，爬虫的重新抓取都可以采用随机方式，或者固定的顺序：

    Cho和Garcia-Molina证明了一个出人意料的结果，以平均新鲜度方式衡量，统一策略在模拟页面和真实的网络抓取中都比正比策略出色。对于这种结果的解释是：当一个页面变化太快的时候，爬虫将会将会在不断的尝试重新抓取而浪费很多时间，但是却还是不能保证页面的新鲜度。

    为了提高页面的新鲜度，2003年宣判变化太快的页面死罪，最佳的重新访问策略既不是统一策略，也不是正比策略。保持平均页面新鲜度高的最佳方法策略包括忽略那些变化太快的页面，而保持页面平均过时性低的方法则是对每一页按照页面变化率单调变化的策略访问，在两种情况下，最佳的策略较正比策略，都更接近统一策略，早在1998年，就有人注意到的：“为了最小化页面过时的时间，对任一个页面的访问都应该尽可能的均匀间隔地访问，”对于重新访问的详尽的策略在大体上是不可以达到的，但是他们可以从数学上得到，因为他们依赖于页面的变化。2003年时有人指出指数变化是描述页面变化的好方法，在2005年指出了怎么使用统计工具去发现适合这些变化的参数。注意在这里的重新访问策略认为每一个页面都是相同的（网络上所有的页面价值都是一样的）这不是现实的情况，所以，为了获取更好的抓取策略，更多有关网页质量的信息应该考虑进去。

    以上，就是关于网络爬虫的主要目的主要介绍。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里！