简单介绍一些网络爬虫的用户爬虫例子

 

    恭喜你点开了本篇文章，以下是一系列关于已经发布的一般用途的网络爬虫，除了主题检索的爬虫，的体系结构的相关介绍，包括了对不同组件命名和突出特点的简短的描述。

    1994年6月首先发布的爬虫的概念。它有两个基础程序。第一个是“spider”，抓取队列中的内容到一个关系数据库中，第二个程序是“mite”，是一个修改后的www的ASCII浏览器，负责从网络上下载页面，1994年9月是第一个公开可用的 用来建立全文索引的一个子程序，他使用库www来下载页面；另外一个程序使用广度优先来解析获取URL并对其排序；它还包括一个根据选定文本和查询相似程度爬行的实时爬虫。1994年10月首次用来为文件建立包括标题和URL简单索引的爬虫。索引可以通过grep式的Unix命令来搜索。

    1998年更新了一些细节来描述，但是这些细节仅仅是关于使用C++和Python编写的、一个早期版本的体系结构，因为文本解析就是全文检索和URL抽取的过程，所以爬虫集成了索引处理。这里拥有一个URL服务器，用来给几个爬虫程序发送要抓取的URL列表，在文本解析的时候，新发现的URL传送给URL服务器并检测这个URL是不是已经存在，如果不存在的话，该URL就加入到URL服务器中。

    1999年使用了一个中央“调度者”和一系列的“分布式的搜集者”。搜集者解析下载的页面并把找到的URL发送给调度者，然后调度者反过来分配给搜集者，调度者使用深度优先策略，并且使用平衡礼貌策略来避免服务器超载。爬虫是使用Perl语言编写的。

    在2001年有了一个分布式的，模块化的使用java编写的网络爬虫，它的模块化源自于使用可互换的的“协议模块”和“处理模块”。协议模块负责怎样获取网页（例如使用HTTP），处理模块负责怎样处理页面。标准处理模块仅仅包括了解析页面和抽取URL，其他处理模块可以用来检索文本页面，或者搜集网络数据。

    明日复明日，明日何其多。大多数人总是会把各种事情向后推，而你很棒，已经看完了本篇文章对于网络爬虫的用户爬虫例子的简单介绍，小编在这你为你学到了新的知识网络爬虫的用户爬虫例子而开心。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里！