聚焦网络爬虫工作原理以及关键技术概述

 

    我们每天通过搜索引擎查找各种消息，都和网络爬虫息息相关，今天，笔者就来具体介绍一下关于网络爬虫的工作原理。

    网络爬虫是一个自动提取网页的程序，它为搜索引擎从网络上下载网页，传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件，是搜索引擎的重要组成。

    聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列，另外，所有被爬虫抓取的网页将会被系统存贮，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

    相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：对抓取目标的描述或定义；对网页或数据的分析与过滤；对URL的搜索策略，网络爬虫面临的问题，截止到2007年底，Internet上网页数量超出160亿个，研究表明接近30％的页面是重复的；动态页面的存在：客户端、服务器端脚本语言的应用使得指向相同Web信息的URL数量呈指数级增长。Lawrence和Giles的研究表明没有哪个搜索引擎能够索引超出16％的Internet上Web页面，即使能够提取全部页面，也没有足够的空间来存储，上述特征使得网络爬虫面临一定的困难，主要体现在Web信息的巨大容量使得爬虫在给定时间内只能下载少量网页。

    为提高爬行效率，爬虫需要在单位时间内尽可能多的获取高质量页面，是它面临的难题之一。当前有五种表示页面质量高低的方式：Similarity即页面与爬行主题之间的相似度、Backlink即页面在Web图中的入度大小、PageRank即指向它的所有页面平均权值之和、Forwardlink即页面在Web图中的出度大小、Location即页面的信息位置；Parallel即并行性问题。

    以上，就是关于网络爬虫的简单介绍，你，明白了吗?

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里！