新闻采集软件

简介

主要功能

根据用户自定义的任务配置，批量而精确地抽取目标网络媒体栏目中的新闻或文章，转化为为结构化的记录(标题，作者，内容，采集时间，来源，分类，相关图片等)，保存在本地数据库中，用于内部使用或外网发布，快速实现外部信息的获取。

主要技术

新闻采集器核心技术是模式定义和模式匹配。模式属于人工智能的术语，意思为物体前人积累的经验的抽象和升华。简单地说，就是从不断重复出现的事件中发现和抽象出的规律，是解决问题的经验的总结。只要是一再重复出现的事物，就可能存在某种模式。

所以要让新闻采集器能够运行，目标网站必须具备重复出现的特征。大多网站都是动态生成的，这样就会让同一模板的页面包含相同的内容，新闻采集器正是利用这些相同的内容来定位采集数据的。

新闻采集器中的模式大多不是程序自动发现的，现有几乎所有的新闻采集器产品都需要通过人工来定义。但模式本身是个很复杂，很抽象的内容，所以所有的开发者精力都花在怎样让模式定义更简单，更准确，这也是新闻采集器竞争力的衡量标准。

但我们怎样来描述模式呢，当前技术主要有两种方式：正则表达式定义和文档结构定义。

功能特点

用户对每类信息自定义来源与分类可以下载图片与各类文件，如PDF，Flash等需支持命令行和纯服务格式，可以Windows任务计划器配合，定期抽取目标网站需支持记录HASHCODE等唯一索引，避免相同信息重复入库需支持智能替换功能，可以将内容中嵌入的所有的无关部分如广告去除需支持多页面文章内容自动抽取与合并数据直接进入数据库而不是文件中，因此与利用这些数据的网站程序或者桌面程序之间没有任何耦合需支持数据库表结构完全自定义，充分利用现有系统需支持多个栏目的信息采集可用同一配置一对多处理需提供基于Web的在线内容编辑，可以方便灵活的进行内容调整和预览需保证信息的完整性与准确性，绝不会出现乱码需提供基于XSLT的模板和帕科自定义格式的模版，从而提供灵活方便标准的模版，方便运营商设计自己的界面需支持各种主流数据库，如MSSQL、Access、MySQL、Oracle、DB2、Syba等

使用技术

正则表达式定义

正则表达式定义是现有主流应用的技术，主要代表为火车头采集器。此技术简单，灵活性高。但用户操作复杂。由于此模式作用于网页的源代码上，因此匹配的结果受代码版面格式影响比较大，并且也不够直观，对比较复杂的页面结构几乎无能为力。当前已经有几款产品使用辅助工具来减低用户的操作难度。

文档结构定义

文档结构定义应该说它是目前最先进的技术，已经具备一定的模式学习能力。此模式作用于文档这一层，不同于正则表达式作用于页面源代码。所谓文档这一层，指的是源代码运行后所生成的实际对象，即用户在浏览器所看到的内容。所以操作可视化是此技术天生就具备的能力。

由于它是对文档结构进行匹配，所以它不受页面源代码的影响，用户定义比较直观，并且程序能够根据文档对象获取更多的逻辑上的特征信息，匹配更准确，通用性更强。

此技术在学术研究论文上已经呈现过，也在几家实验室开发出此类产品。但真正在商业上应用很少。

采集软件

云里新闻采集大师

【概括介绍】

完全免费开源的新闻采集软件。

【基本介绍】

云里新闻采集大师是一款完全免费开源的新闻采集软件，支持所有网站内容的自动采集入库，程序采用Microsoft Visual Studio 2010(C#)开发，数据库采用SQLite，软件源代码完全公开，供各位开发者学习与探讨。

【软件特点】

1、免费开源：云里新闻采集大师完全免费并开源供大家学习与探讨，永久开源。

2、灵活配置：采集网站可灵活配置，根据自己的需要可配置添加采集网站。

3、多数据库支持：采集文章可支持Post到Access数据库、MSSQL数据库、MYSQL数据库、Oracle数据库等数据库中。

【软件功能】

采集网站管理

云里新闻采集大师可方便您管理需要采集的网站。

图形化配置

如果您需要添加采集网站，只需要找到页面简单的开始与结束标记即可灵活配置与添加。

批量删除

可一键删除所有采集网站，方便简单。

支持预览

每个采集网站，支持预览模式，点击即可到达目标网站。

采集新闻管理

云里新闻采集大师可方便您管理采集到的文章，可批量删除，编辑新闻文章。

图形化管理

图形界面管理采集到的文章，双击文章行可打开编辑。

批量删除

可一键删除所有采集网站，方便简单。

支持预览

每个采集网站，支持预览模式，点击即可到达目标网站。

采集网站配置

采集目标网站的所有参数都可以个性化可配置实现。

列表可配置

通常需要采集列表页面的内容块，定义开始与结束标记即可采集到。

内容可配置

采集文章标题、作者、来源、内容等信息，都可自定义配置。

网页编码可配置 每个网站的编码都不一样，这里提供了网页编码选择项，实现可配置选项。