全国企业信息公示系统数据采集方案

全国企业信息公示系统数据采集解决方案

全国企业信息公示系统

数据采集解决方案

ForeSpider数据采集系统

版本2.4.0

天津市前嗅网络科技有限公司

日期：2016年3月22日

全国企业信息公示系统数据采集解决方案

目录

1．引言1

..................................................................................................................

1.1项目简介1

.....................................................................................................

1.2简介1

FORESPIDER

...........................................................................................

2．项目设计方案2

..................................................................................................

2.1系统部署2

.....................................................................................................

2.2系统现有功能2

.............................................................................................

2.3定制开发功能4

.............................................................................................

3．项目测试报告6

..................................................................................................

3.1测试过程6

.....................................................................................................

3.2测试结果10

...................................................................................................

4．售后11

................................................................................................................

4.1培训11

...........................................................................................................

4.2维护服务11

...................................................................................................

4.3其他11

...........................................................................................................

5．项目报价12

........................................................................................................

5.1软件费用12

...................................................................................................

5.2定制开发费用13

...........................................................................................

全国企业信息公示系统数据采集解决方案

1．项目背景

1.1项目简介

企业公示系统数据采集项目是在需求方购买天津市前嗅网络科技有限公司

（以下简称前嗅）的ForeSpider数据采集系统基础上，针对本项目特殊的采集

特点，由前嗅进行项目定制化开发采集功能细节，同时双方合作共同开发完成全

部功能。

为了便于需求方更好地了解本软件系统对于数据采集的性能、质量、速度、

范围等各方面情况，保证双方能够完成项目目标，使软件系统开发工作开展的各

个过程合理有序。因此，前嗅通过本文档，把软件系统的采集状况、采集能力，

对于目标采集源的测试结果，各项工作的任务分解、各团队成员的工作责任、团

队内外沟通协作方式、开发进度、经费预算、项目内外环境条件、风险对策等内

容做出安排。使项目成员和项目干系人了解项目开发方案和预期达到的效果，作

为项目团队成员以及项目干系人之间的共识，也作为正式合作确立前的依据。

1.2ForeSpider简介

前嗅ForeSpider数据采集系统是天津市前嗅网络科技有限公司自主知识产

权的通用性互联网数据采集软件。软件具备全面的采集范围、精准的数据精度、

绝佳的抓取性能、简易的可视化操作、智能的自动化采集，使企业能够以很少的

人工成本，快速获取互联网中结构化或非结构化的数据。

软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建

表、过滤、采集到入库一步到位。支持正则表达式操作，更有强大的面向对象的

脚本语言系统。

单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机采集

能力可达8亿-16亿，日采集能力超过2000万。并行情况下可支撑百亿以上规

模数据链接，堪与百度等搜索引擎系统媲美。

第页

1

全国企业信息公示系统数据采集解决方案

2．项目方案

2.1系统部署

本系统采用C/S设计模式，每个序列号绑定一台计算机。按照采集性能分为

普通台式机和服务器两个版本，按照功能分为低配版和高配版两个版本。根据本

项目特点，需要购买高配版。

1.普通台式机

内存：4G以上（建议8G）。

CPU：2核以上（建议4核）。

网络带宽:10M以上（提升采集速度）。

硬盘:500G以上存储空间(根据实际存储数据周期可能需要扩充)。

数据库对接：支持系统自带数据库ForeLib和MySQL。

采集能力：4000-8000万/每次任务（与硬件性能有关）。

采集速度：400-1000万以上/每天（与开启线程数、自身和对方服务器带宽

有关，由于本项目采集链接时cookie限制只能单线程采集，采集速度难以达到）。

2.服务器

内存：32G以上。

系统:windowsserver2000及以上32位/64位。

10M以上。网络带宽:

数据库对接：支持系统自带数据库ForeLib和MySQL。

采集能力：8亿-16亿/每次任务（与硬件性能有关）。

采集速度：2000万以上/每天（与开启线程数、自身和对方服务器带宽有关，

由于本项目采集链接时cookie限制只能单线程采集，采集速度难以达到）。

2.2系统现有特性

一．通用性：可以抓取互联网上几乎100%的数据

1.支持用户登录。

2.支持Cookie技术。

3.支持验证码识别。

4.支持HTTPS安全协议。

5.支持OAuth认证。

第页

2

全国企业信息公示系统数据采集解决方案

6.支持POST请求。

7.支持搜索栏的关键词搜索采集。

8.支持JS动态生成页面采集。

9.支持IP代理采集。

10.支持图片采集。

11.支持本地目录采集。

12.内置面向对象的脚本语言系统，配置脚本可以采集几乎100%的互联网信

息。

二．专业性：精准采集所需数据

1.独立知识产权JS引擎，精准采集。

2.内部集成数据库，数据直接采集入库。

3.内部创建数据表结构，抓取数据后直接存入数据库相应字段。

4.根据dom结构自动过滤无关信息。

5.通过模板配置链接抽取和数据抽取，目标网站的所有可见内容均可采集，

智能过滤无关信息。

6.采集前数据可预览采集，随时调整模板配置，提升数据精度和质量。

7.字段的数据支持多种处理方式。

8.支持正则表达式，精准处理数据。

9.支持脚本配置，精确处理字段的数据。

三．高性能：千万级的采集速度

1.C++编写的爬虫，具备绝佳采集性能。

2.支持多线程采集。

3.台式机单机采集能力可达4000-8000万，日采集能力超过500万。

4.服务器单机采集能力可达8亿-16亿，日采集能力超过2000万。

5.并行情况下可支撑百亿以上规模数据链接，堪与百度等搜索引擎系统媲

美。

6.软件性能稳健，稳定性好。

四．简易高效：节约70%的配置时间

1.完全可视化的配置界面，操作流程顺畅简易。

第页

3

全国企业信息公示系统数据采集解决方案

2.基本不需要计算机基础，代码薄弱人员也可快速上手，降低操作门槛，节

省企业爬虫工程师成本。

3.过滤采集入库一步到位，集成表结构配置、链接过滤、字段取值、采集预

览、数据入库。

4.数据智能排重。

5.内置浏览器，字段取值直接在浏览器上可视化定位。

五．智能：智能模拟用户和浏览器行为

1.智能模拟浏览器和用户行为，突破反爬虫限制。

2.自动抓取网页的各类参数和下载过程的各类参数。

3.支持动态IP代理加速，智能过滤无效IP代理，提升代理的利用效率和采

集质量。

4.支持动态调整数据抓取策略，多种策略让您的数据无需重采，不再担心漏

采，数据采集更智能。

5.自动定时采集。

6.设置采集任务条数，自动停止采集。

7.设置文件大小阈值，自动过滤超大文件。

8.自由设置浏览器是否加速，自动过滤页面的flash等无关内容。

9.智能定位字段取值区域。

10.可以根据字符串特征自动定位取值区域。

11.智能识别表格的多值，表格数据可以完美存入相应字段。

六．优质服务

1.数据采集完全在本地进行，保证数据安全性。

2.提供大量免费的各个网站配置模板在线下载，用户可以自由导入导出。

3.免费升级后续不断开发的更多功能。

4.免费更换2次绑定的计算机。

5.为用户提供各类高端定制化服务，全方位来满足用户的数据需求。

2.3定制开发功能

2.3.1省份情况分类

通过逐一采集全国31个省份发现，各省份的状况如下。

第页

4

全国企业信息公示系统数据采集解决方案

1.通过Cookie、jsessionid、日期与验证机制关联的省份：

省份：天津、江苏、浙江、陕西、内蒙古、重庆、新疆

定制状况：无需定制，可以采集。

2.验证码识别限时的省份：

省份：北京

定制状况：需要定制，解决验证码识别限时的问题。

3.动态的JS生成的验证机制：

省份：河南、湖南、河北、陕西、吉林、黑龙江、福建、上海、江西、安徽、

山东、广东、广西、海南、四川、贵州、云南、西藏、甘肃、宁夏、青海。

定制状况：需要定制，动态JS生成的验证机制需要进一步解析。

4.密码盘的验证机制：

省份：湖北。

定制状况：可以实现手工识别采集，不需要定制。如果想实现机器识别需要

自行解决验证码问题。

2.3.2功能定制情况

根据项目的需求分析和系统目前的现有功能，至少有以下模块需要定制开

发：

1.验证码识别接口。

2.北京网站的验证码识别限时，需要定制开发。

动态生成的验证机制，需要浏览器采集，需要定制开发。

第页

5

全国企业信息公示系统数据采集解决方案

3．项目测试报告

3.1测试过程

以天津为例，通过人工识别验证码方式进行测试。

1.配置企业名称的关键词

2.配置模板一的链接抽取

3.配置模板二的链接抽取

第页

6

全国企业信息公示系统数据采集解决方案

4.配置模板二的链接脚本

5.配置模板三的链接抽取

第页

7

全国企业信息公示系统数据采集解决方案

6.配置模板四的数据抽取

7.验证码人工识别

第页

8

全国企业信息公示系统数据采集解决方案

8.数据采集

9.数据浏览

第页

9

全国企业信息公示系统数据采集解决方案

3.2测试结果

测试过程的验证码识别采用了人工识别的方式，将测试过程分为验证码识别

和采集过程。

1.验证码识别

在一台计算机上测试，由于涉及到Cookie验证，验证码识别只能开启单线

程。单线程人工识别20分钟，识别480了个验证码。

若需求方有多台计算机，识别过程可以多线程。加快识别速度。

2.采集过程

采集过程启用一台计算机，开启了10个线程。如果需求方的硬件配置较好，

可以开启100个线程左右。

经过采集，1000s内采集到共6410个链接（与数据相关及无关的链接总数），

2423条数据（每条数据对应一个企业的信息）。

即在使用一台计算机，开启10个线程的情况下：

1000秒--6410个链接--2423条数据

1小时--23076个链接--8723条数据

24小时--553824个链接--209347条数据

第页

10

全国企业信息公示系统数据采集解决方案

4．售后

4.1培训

系统包括完善的采集操作教程，同时前嗅提供售后客服和在线问答的方式解

决用户的使用困难。如果需求方认为需要进行人员培训，需额外支付培训人员的

差旅费和培训费用。

4.2维护服务

系统正式交付后，前嗅提供以下服务：

1.在得到故障报告后，在24h内对故障做出响应，并提供应急方案。

2.软件因前嗅的质量问题出现故障或不合格部分由前嗅及时处理，发生的一

切费用由软件承制单位承担；

3.非软件质量问题，需要提供技术支持，期间发生的一切费用由委托单位承

担。

4.3其他

1．数据采集完全在本地进行，保证数据安全性。

2．提供大量免费的各个网站配置模板在线下载，用户可以自由导入导出。

3．免费升级后续不断开发的更多功能。

4．免费更换2次绑定的计算机。

5．为用户提供各类高端定制化服务，全方位来满足用户的数据需求。

第页

11

全国企业信息公示系统数据采集解决方案

5．项目报价

5.1软件费用

软件分为专业版和服务器单机版，专业版运行于普通台式机上，服务器单机

版运行于服务器上。需求方可根据自身情况选购。各版本的每个序列号只能与一

台计算机绑定，每个序列号可免费更换2次计算机。

由于全国企业信息公示系统的网站特性，用户只能购买高配版，才能满足项

目的采集要求。

1.专业版价格：

2.服务器单机版价格

第页

12

全国企业信息公示系统数据采集解决方案

5.2定制开发费用

需要进一步协商需求，确定开发时长和开发难度，依据开发成本计算。

第页

13