基于文本的网页分析算法都有哪些

 

    本文，介绍一下基于文本的网页分析算法都有哪些。简单来说，基于网页内容的分析算法指的是利用网页内容（文本、数据等资源）特征进行的网页评价。

    网页的内容从原来的以超文本为主，发展到后来动态页面（或称为Hidden Web）数据为主，后者的数据量约为直接可见页面数据（PIW，Publicly Indexable Web）的400~500倍，因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用，另一方面，多媒体数据、Web Service等各种网络资源形式也日益丰富。根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类，第一种针对以文本和超链接为主，无结构或结构很简单的网页；第二种针对从结构化的数据源（如RDBMS）动态生成的页面，其数据不能直接批量访问；第三种针对的数据界于第一和第二类数据之间，显示遵循一定模式或风格，具有较好的结构，且可以直接访问。

    纯文本分类与聚类算法，很大程度上借用了文本检索的技术，文本分析算法可以快速有效的对网页进行分类和聚类，但是由于忽略了网页间和网页内部的结构信息，很少单独使用。超文本分类和聚类算法，根据网页链接网页的相关类型对网页进行分类，依靠相关联的网页推测该网页的类型，也可先进行深度优先搜索策略，从起始网页开始，选择一个URL进入，分析这个网页中的URL，选择一个再进入，如此一个链接一个链接地抓取下去，直到处理完一条路线之后再处理下一条路线。

    深度优先策略设计较为简单，然而门户网站提供的链接往往最具价值，PageRank也很高，但每深入一层，网页价值和PageRank都会相应地有所下降，这暗示了重要网页通常距离种子较近，而过度深入抓取到的网页却价值很低。同时，这种策略抓取深度直接影响着抓取命中率以及抓取效率，对抓取深度是该种策略的关键。相对于其他两种策略而言，此种策略很少被使用。

    利用分布式的SiteRank计算，附带的一个优点是，常见PageRank 造假难以对SiteRank进行欺骗，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网络覆盖率有限的缺点。你明白了，期待下次和你一起学习。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里！