聚焦网络爬虫的爬行策略都有哪些

 

    你知道网络爬虫的爬行策略都有哪些吗？它是基于内容评价、链接结构评价、增强学习、还是语境图呢，这些都是不同的，本文就跟随小编的脚步，一起来具体的了解一下吧。

    聚焦爬虫爬行策略实现的关键是评价页面内容和链接的重要性，不同的方法计算出的重要性不同，聚焦网络爬虫和通用网络爬虫相比，增加了链接评价模块以及内容评价模块，由此导致链接的访问顺序也不同。

    基于内容评价的爬行策略：DeBra将文本相似度的计算方法引入到网络爬虫中，提出了FishSearch算法，它将用户输入的查询词作为主题，Herseovic对FishSearch算法进行了改进，提出了Sharksearch算法，利用空间向量模型计算页面与主题的相关度大小，包含查询词的页面被视为与主题相关，其局限性在于无法评价页面与主题相关度的高低。

    基于链接结构评价的爬行策略：Web页面作为一种半结构化文档，包含很多结构信息，可用来评价链接重要性，另一个利用Web结构评价链接价值的方法是HITS方法，它通过计算每个已访问页面的Authority权重和Hub权重，并以此决定链接的访问顺序。PageRank算法最初用于搜索引擎信息检索中对查询结果进行排序，也可用于评价链接重要性，具体做法就是每次选择PageRank值较大页面中的链接来访问。

    基于增强学习的爬行策略：根据整个网页文本和链接文本对超链接进行分类，为每个链接计算出重要性，从而决定链接的访问顺序，Rennie和McCallum将增强学习引入聚焦爬虫，利用贝叶斯分类器。

    基于语境图的爬行策略：通过该系统可计算当前页面到相关Web页面的距离，距离越近的页面中的链接优先访问，Diligenti等人提出了一种通过建立语境图（ContextGraphs）学习网页之间的相关度，训练一个机器学习系统，印度理工大学（IIT）和IBM研究中心的研究人员开发了一个典型的聚焦网络爬虫。该爬虫对主题的定义既不是采用关键词也不是加权矢量，而是一组具有相同主题的网页。它包含两个重要模块：一个是分类器，用来计算所爬行的页面与主题的相关度，确定是否与主题相关；另一个是净化器，用来识别通过较少链接连接到大量相关页面的中心页面。

    以上，就是关于网络爬虫的爬行策略的简单介绍。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里！