智能爬虫

简介

那么衡量一个垂直搜索引擎的好坏主要有以下几个标准。

A.数据的更新频率

顾名思义，就是爬虫从目标网站上爬取数据的频率。

B.覆盖网站个数

覆盖尽量多的网站，对提供的信息数量将是一个保证。

C.单站有效数据抓取率

单个目标网站的有效数据，对数据量的多少有直接的影响。衡量一个爬虫的重要标准之一。

D.信息抽取完整率和准确率

此项指标的重要度不言而喻。信息的准确率和完整率直接关系到整个搜索引擎搜索结果的质量。

经过发展现有垂直搜索爬虫分为2种基本模式。

一、定向爬虫获取信息，配上手工或者自动的模版进行信息匹配，将信息进行格式化分析存储。

优势

基于模版的信息提取技术，能提供更加精准的信息。比如价格，房屋面积，时间，职位，公司名等等。

劣势：

目标网站难以大面积覆盖，因为基于模版匹配的信息提取技术，需要人工的参与配置模版，欲要大面积覆盖各个目标网站，需要大量的人力成本，同样维护模板也需要很大的人力成本。

二、语义爬虫全网爬取，爬虫根据语义识别，自动进行信息格式化分析，并存储。

优势：

1、全网非定向抓取目标网站，有效的保证信息数量。

2、不需要人工参与定制和维护模板，有效的保证了自身的人力和维护成本。

劣势：

相对于第一种模板匹配，根据语义来进行数据抓取，准确率略有下降。

现在大家对该如何衡量一个 智能爬虫应该有了一定的了解了吧。