数据采集职业技能等级证书标准(2020版)

数据采集

职业技能等级标准

目次

前言﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍01

1范围﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍02

2规范性引用文件﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍02

3术语和定义﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍02

4对应院校专业﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍04

5面向工作岗位（）﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍04

6职业技能要求﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍04

参考文献﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍11

前言

本标准按照GB/T1.1-2009给出的规则起草。

本标准起草单位：浪潮集团有限公司、北京百分点信息科技有限公司、北京

大唐高鸿数据网络技术有限公司、济南华信计算机技术有限公司、山东青年政治

学院、山东中医药大学、哈尔滨职业技术学院、济南职业学院、莱芜职业技术学

院、山东电子职业技术学院、济南信息工程学校、济南电子机械工程学校。

本标准主要起草人：刘何秀、穆建平、陈腾、陈天真、徐宏伟、姚民伟、单

震、商程、崔瑞娟、邓兰永、刘洋、高敬萍、宁玉富、李明、徐翠娟、宋磊、许

文宪、徐健、刘学、赵素霞、赵庆华。

声明：本标准的知识产权归属于浪潮集团有限公司，未经浪潮集团有限公司

同意，不得印刷、销售。

1

1范围

本标准规定了数据采集职业技能等级对应的工作领域、工作任务及职业技能

要求。

本标准适用于数据采集职业技能培训、考核与评价，相关用人单位的人员聘

用、培训与考核可参照使用。

2规范性引用文件

下列文件对于本标准的应用是必不可少的。凡是注日期的引用文件，仅注日

期的版本适用于本标准。凡是不注日期的引用文件，其最新版本适用于本标准。

GBT5271.1-2000信息技术词汇第1部分基本术语

GB/T5271.17-2010信息技术词汇第17部分：数据库

GB/T35295-2017信息技术大数据术语

GB∕T33847-2017信息技术中间件术语

GB/T17143.6-1997信息技术开放系统互连系统管理第6部分:日志控制

功能

GB/T34840.3-2017信息与文献电子办公环境中文件管理原则与功能要求

第3部分:业务系统中文件管理指南与功能要求

3术语和定义

GB/T5271.1-2000GB/T35295-2017GB/T5271.17-2010GB∕T33847-

2017GB/T17143.6-1997GB/T34840.3-2017界定的以及下列术语和定义适用

于本标准。

3.1日志log

以用作日志记录档案库的资源为模型的管理支持客体类。

2

[GB-T17143.6-1997，定义3.1]

3.2关系数据库relationaldatabase

数据按关系模型来组织的数据库。

[GB/T5271.17-2010，定义3.2]

3.3非结构化数据unstructureddata

支持一个或多个应用领域，按概念结构组织的数据集合，其概念结构描述这

些数据的特征及其对应实体间的联系。

[GB/T35295-2017，定义3.3]

3.4中间件middleware

位于系统软件之上，用于支持分布式应用软件，连接不同软件实体的支撑软

件。

[GB∕T33847-2017，定义3.4]

3.5硬件hardware

信息处理系统物理组成部分的全部或部分

[GB/T5271.1-2000，定义3.5]

3.6操作系统operatingsystem

控制程序*执行的软件，它能提供诸如资源分配、目录调度、输入输出控制

及数据管理的服务。

[GB/T5271.1-2000，定义3.6]

3.7业务系统businesssystem

生成或管理机构活动数据与证据的自动化系统

注：主要包括旨为机构部门与客户之间开展事务处理提供便利的应用程序。

3

例如，电子商务系统、客户关系管理系统、为特定目的而构建的或为客户定

制的数据库、财务或人力资源系统等。

[GB/T34840.3-2017，定义3.7]

4对应院校专业

中职专业

计算机应用、计算机网络技术、网站建设与管理、软件与信息服务、网络信

息安全、移动应用技术与服务、会计、统计事务、电子商务等相关专业。

高职专业

云计算技术与应用、大数据技术与应用、计算机应用技术、计算机网络技术、

计算机信息管理、软件与信息服务、软件技术、移动应用开发、电子商务技术、

信息安全与管理、商务数据分析与应用、人工智能技术服务、会计、会计信息管

理、信息统计与分析、统计与会计核算、经济信息管理、移动商务等相关专业。

本科专业

计算机科学与技术、数据科学与大数据技术、网络工程、软件工程、信息安

全、信息管理与信息系统、经济统计学、金融工程、统计学、应用统计学、大数

据管理与应用、智能科学与技术等相关专业。

5面向工作岗位（）

主要面向政府信息化监管机构相关技术岗位，面向企事业单位的数据库管理、

互联网应用开发实施、系统平台设备运维管理、系统数据分析、互联网舆情监控

等相关岗位。

6职业技能要求

6.1职业技能等级划分

4

数据采集职业技能等级分为三个等级：初级、中级、高级，三个级别依次递

进，高级别涵盖低级别职业技能要求。

【数据采集】（初级）主要面向各企事业单位、政府等的信息化数字化、软

件研发、软件测试、系统运维、系统审计部门，从事数据库数据、业务系统日志

数据、互联网应用数据等的采集、清洗与存储工作。

【数据采集】（中级）：主要面向各企事业单位、政府等的信息化数字化、

软件研发、软件测试、系统运维、系统审计部门，从事数据库数据、业务系统

日志数据、互联网应用数据、容器日志数据、操作系统日志数据等的采集、清

洗与存储工作。并根据业务场景需求编制并实施解决方案。

【数据采集】（高级）：主要面向各企事业单位、政府等的信息化数字化、

软件研发、软件测试、系统运维、系统审计部门，从事数据库数据、业务系统

日志数据、互联网应用数据、容器日志数据、操作系统日志数据、设备日志数

据等的采集、清洗与存储工作。并根据业务场景需求进行采集监控系统整体架

构设计，编制并管理实施解决方案。

6.2职业技能等级要求描述

表1数据采集职业技能等级要求（初级）

工作领域工作任务职业技能要求

1.1.1熟悉并严格遵守关于数据库操作的法

律规范，保证在合法的情况下进行数据库数

据采集。

1.1熟悉法规制度

1.1.2掌握熟悉并参考关于数据库操作的国

规范

家标准，确保数据采集过程合规。

1.1.3熟悉行业内的技术标准和规范，能够

1.数据库数据采

准确获取数据库数据信息。

集

1.2.1能够掌握常规访问数据库的方式方

法，能够获取到目标数据库的相关信息。

1.2数据库数据的

1.2.2掌握常用数据库客户端工具的使用，

收集

能够成功登录目标数据库并进行相关数据表

数据的查询、筛选等数据收集操作。

5

1.2.3查询、筛选的准确率应能达到100%

1.2.4能够对采集到的原始数据进行完整文

件备份，可以根据采集要求随时对备份的原

始数据进行重新采集和核对。

1.3.1能够利用数据清洗工具编写基础的数

据验证规则进行数据的合法性验证。

1.3.2熟练掌握数据拆分规则，能够完成数

据分解。能够对全部的输入数据进行成功拆

解。对拆分的字段要有完整的文档进行描

述，保证拆分后的数据属性都有明确的意义

和目的。

1.4.1掌握某种关系型数据库，具备数据库

的管理、运维能力，可以合理的规划、设计

数据库。

1.4.2掌握SQL语言，熟悉数据库结构设计

及优化，具备将清理的中间数据存储到另一

目标数据库或数据表的能力。能够将采集到

的全部数据存储进指定数据库中。

2.1.1熟悉并严格遵守关于业务系统日志数

据采集的法律规范，保证在合法的情况下进

行业务系统日志数据采集。

2.1.2掌握并参考关于业务系统日志数据采

集的国家标准，确保数据采集过程合规。

2.1.3熟悉行业内的技术标准和规范，能够

准确获取业务系统日志数据信息。

2.2.1熟悉目前常用的系统日志采集工具，

具备可以收集业务系统日志数据的能力。

2.2.2能够根据业务系统部署信息到业务

系统日志所在的路径和文件。

2.2.3能够对采集到的原始数据进行完整文

件备份，可以根据采集要求随时对备份的原

始数据进行重新采集和核对。

2.3.1熟悉业务系统日志的组成部分，具备

快速获取、分析业务系统日志中特定数据信

息的能力。

2.3.2能够利用数据清洗工具编写基础的数

据验证规则进行数据的合法性验证。

2.3.3熟练掌握数据拆分规则，能够完成数

据分解。能够对全部的输入数据进行成功拆

解。对拆分的字段要有完整的文档进行描

述，保证拆分后的数据属性都有明确的意义

和目的。

1.3数据库数据的

清洗

1.4数据库采集数

据的存储

2.1熟悉法规制度

规范

2.业务系统日志

数据采集

2.2业务系统日志

数据的收集

2.3业务系统日志

数据的清理

6

2.4.1掌握各类数据文件存储格式，并能使

用相关技术将数据保存成不同类型文件。

2.4业务系统日志

2.4.2掌握系统日志数据之间的关系及分

数据的存储

类，能够按照其数据结构及时保存到数据

库。

3.1熟悉互联网应

严格遵守国家《数据安全管理办法》及相关

用数据采集法律法

法律法规。

规

3.2.1熟悉不同互联网应用数据类型。

3.2.2能够了解网络协议，通过网络准确获

3.2互联网应用数

取并解析互联网应用的数据。

据的采集

3.2.3能够使用工具或编写程序获取网站等

互联网应用的静态数据并进行数据抽取。

3.3.1能够根据网页数据类型，利用数据清

洗工具编写基础的数据验证规则进行数据的

合法性验证。

3.3互联网应用数3.3.2熟练掌握数据拆分规则，能够完成数

据的清洗据分解。能够对网站等互联网应用的静态数

据进行准确拆解。对拆分的字段要有完整的

文档进行描述，保证拆分后的数据属性都有

明确的意义和目的。

3.4.1掌握各类数据文件存储格式，并能使

3.4互联网应用数用相关技术将数据保存成不同类型文件。

据的存储3.4.2掌握数据之间的关系及分类，能够按

照其数据结构保存到数据库。

3.互联网应用数

据采集

表2数据采集职业技能等级要求（中级）

工作领域工作任务职业技能要求

1.1.1熟悉并严格遵守关于信息数据采集的

法律法规，保证在合法的情况下进行数据库

1.1熟悉法规制度

数据的采集。

规范

1.1.2掌握关于信息数据采集的国家标准，

确保采集过程合规。

1.数据库数据采

1.2.1能够掌握访问分布式数据库的方式方

集

法，能够获取到目标数据库的相关信息。

1.2数据库数据的1.2.2掌握分布式数据库客户端工具的使

收集

用，能够成功登录目标数据库并进行相关数

据的查询、筛选等数据收集操作。

1.2.3能够对采集到的原始数据进行完整文

7

件备份，可以根据采集要求随时对备份的原

始数据进行重新采集和核对。

1.3数据库数据的

清洗处理

1.4数据库采集数

据的存储

2.1熟悉法规制度

规范

2.2互联网应用数

据的采集

2.互联网应用数

据采集

2.3互联网应用数

据清洗

掌握简单批处理程序的编写，可以编写批处

理理程序对数据进行批量清洗操作。能够对

全部的输入数据进行成功拆解。对拆分的字

段要有完整的文档进行描述，保证拆分后的

数据属性都有明确的意义和目的。

1.4.1掌握某种关系型数据库，具备数据库

的管理、运维能力，可以合理的规划、设计

数据库。

1.4.2掌握SQL语言，熟悉数据库结构设计

及优化，具备将清理的中间数据存储到另一

目标数据库或数据表的能力。

2.1.1熟悉关于信息数据采集的法律法规，

保证在合法的情况下进行网站等互联网应用

的数据采集。

2.1.2掌握关于信息数据采集的国家标准，

确保采集过程合规。

2.2.1能够编写采集客户端程序来进行互联

网应用行为数据的动态采集。

2.2.2采集客户端的运行对宿主系统的性能

影响占比应低于0.1%。

能够按照行业要求，通过工具及编写数据校

验规则提取有效数据，剔除脏数据。能够对

全部的互联网应用数据进行成功拆解。对拆

分的字段要有完整的文档进行描述，保证拆

分后的数据属性都有明确的意义和目的。

2.4.1掌握数据表结构的设计能力。

2.4互联网应用数

2.4.2掌握关系型数据库，将采集到的数据

据的存储

合理得存入数据库。

3.1.1熟悉并严格遵守关于信息数据采集的

法律法规，保证在合法的情况下进行中间件

3.1熟悉法规制度

容器日志采集。

规范

3.1.2掌握关于信息数据采集的国家标准，

确保采集过程合规。

3.2.1熟悉HTTPWeb服务容器、FTP服务容

3.2中间件数据收器等常见的容器日志生成方式、内容、格

集式。能够根据中间件容器的配置文件准确

到存放日志数据的目录和文件。

3.中间件数据采

集

8

3.2.2能够运用采集工具对容器日志进行采

集。采集工具对中间件容器的性能影响占比

应低于0.1%。

3.2.3能够对采集到的原始数据进行完整文

件备份，可以根据采集要求随时对备份的原

始数据进行重新采集和核对。

3.3.1能够利用数据清洗工具编写基础的数

据验证规则进行数据的合法性验证。

3.3.2熟练掌握数据拆分规则，能够完成数

3.3中间件数据清

据分解。对中间件的日志数据的成功拆解率

洗处理

应能达到99%。对拆分的字段要有完整的文

档进行描述，保证拆分后的数据属性都有明

确的意义和目的。

3.4.1掌握数据表结构的设计能力。

3.4中间件数据的

3.4.2掌握关系型数据库，将采集到的数据

存储

合理得存入数据库。

4.1.1熟悉并严格遵守关于信息数据采集的

法律法规，保证在合法的情况下进行操作系

4.1熟悉法规制度

统日志采集。

规范

4.1.2掌握关于信息数据采集的国家标准，

确保采集过程合规性。

4.2.1熟悉Windows、Liunx等常见的操作

系统日志生成方式。

4.2.2能够识别用户在操作系统里进行的操

作（如登陆、系统级目录和内容修改）。

4.2操作系统数据

4.2.3能够使用采集工具对操作系统日志进

收集

行采集。

4.2.4能够对采集到的原始数据进行完整文

件备份，可以根据采集要求随时对备份的原

始数据进行重新采集和核对。

4.3.1能够利用工具进行数据的合法性验

证。

4.3.2熟练掌握数据拆分规则，能够完成数

据分解。对常见的操作系统日志数据的成功

4.3操作系统数据

拆解率应能达到90%。对拆分的字段要有完

清洗处理

整的文档进行描述，保证拆分后的数据属性

都有明确的意义和目的。

4.3.3掌握操作系统的常见操作，能够对操

作系统的操作日志数据进行初步提取。

4.4.1掌握数据表结构的设计能力。

4.4操作系统数据

4.4.2熟练掌握关系型数据库，将采集到的

的存储

数据合理得存入数据库。

9

4.操作系统日志

数据采集

表3数据采集职业技能等级要求（高级）

工作领域工作任务职业技能要求

1.1熟悉法规制度熟悉行业内的技术标准和规范，能够准确得

规范采集信息数据。

1.2.1能够在移动终端应用里编写数据采集

1.2互联网应用数插件来搜集应用数据。

据的采集1.2.2数据采集插件的运行，对宿主终端应

用的性能影响比率应低于1%

2.3.1能够利用工具和编写数据验证规则进

行数据的合法性验证。

2.3.2熟练掌握数据拆分规则和方法，能够

完成数据分解和归类。对移动终端应用的交

1.3互联网应用数

互数据的成功拆解率应能达到90%。对拆分

据清洗处理

的字段要有完整的文档进行描述，保证拆分

后的数据属性都有明确的意义和目的。

2.3.3掌握互联网应用的特征内容，能够对

应用数据和交互数据进行提取。

2.4.1掌握数据模型关系设计能力，具备数

据表结构的规划和设计能力。

1.4互联网应用数

2.4.2具备非关系型数据库的使用能力，能

据的存储

够将采集到的海量数据存入到非关系型数据

库。

2.1熟悉法规制度熟悉行业内的技术标准和规范，能够准确得

规范采集信息数据。

2.2.1熟悉代理服务容器、负载均衡服务容

器等容器日志生成方式、内容、格式。

2.2.2能够基于采集框架熟练运用编程语言

2.2中间件数据收

对容器日志进行采集。

集

2.2.3能够对采集到的原始数据进行完整备

份，可以根据采集要求随时对备份的原始数

据进行重新采集和核对。

2.3.1能够利用工具和编写数据验证规则进

行数据的合法性验证。

2.3.2熟练掌握数据拆分规则和方法，能够

完成数据分解和归类。对中间件容器的日志

2.3中间件数据清

数据的成功拆解率应能达到90%。对拆分的

洗处理

字段要有完整的文档进行描述，保证拆分后

的数据属性都有明确的意义和目的。

2.3.3掌握网络协议内容，能够对网络信息

数据进行提取。

10

1.互联网应用数

据采集

2.中间件数据采

集

2.4.1掌握数据模型关系设计能力，具备数

据表结构的规划和设计能力。

2.4中间件数据的

2.4.2具备非关系型数据库的使用能力，能

存储

够将采集到的海量数据存入到非关系型数据

库。

3.1熟悉法规制度熟悉行业内的技术标准和规范，能够准确得

规范采集信息数据。

3.2.1熟悉Windows/Linux等常见的操作系

统日志生成方式。

3.2.2能够识别应用程序在操作系统里的操

作所产生的日志数据种类、内容、格式。

3.2.3能够基于采集框架熟练运用编程语言

对操作系统日志进行采集。

3.2.4能够对采集到的原始数据进行完整备

份，可以根据采集要求随时对备份的原始数

据进行重新采集和核对。

3.3.1能够利用工具和编写数据验证规则进

行数据的合法性验证。

3.3.2熟练掌握数据拆分规则和方法，能够

完成数据分解和归类。

3.3.3掌握操作系统的基本机制，能够对操

作系统的操作日志数据进行提取。

3.4.1掌握数据模型关系设计能力，具备数

据表结构的规划和设计能力。

3.4.2具备非结构化数据库的使用能力，能

够将采集到的海量数据存入到非结构化数据

库。

4.1.1熟悉关于信息数据采集的法律法规，

保证在合法的情况下进行硬件设备日志采

集。

4.1.2掌握关于信息数据采集的国家标准，

确保采集过程合规。

4.1.3熟悉行业内的技术标准和规范，能够

准确得采集信息数据。

4.2.1熟悉网络分层协议、TCP/IP规范等网

络协议。

4.2.2熟悉路由器等网络设备的配置和使

用，熟悉设备操作日志的生成方式。

4.2.3能够识别路由器等常见网络设备的流

量数据种类、内容、格式。

4.2.4能够使用路由器等主流设备协议和数

据信息协议基于采集框架熟练运用编程语言

对设备日志进行采集。

11

3.2操作系统数据

收集

3.操作系统数据

采集

3.3操作系统数据

清洗处理

3.4操作系统数据

的存储

4.1熟悉法规制度

规范

4.网络设备数据

采集

4.2网络设备数据

收集

4.2.5能够对采集到的原始数据进行完整备

份，可以根据采集要求随时对备份的原始数

据进行重新采集和核对。

4.3.1能够利用工具和编写数据验证规则进

行数据的合法性验证。

4.3.2熟练掌握数据拆分规则和方法，能够

完成数据分解和归类。对常见路由器日志数

4.3网络设备数据据的成功拆解率应能达到90%。对拆分的字

清洗处理段要有完整的文档进行描述，保证拆分后的

数据属性都有明确的意义和目的。

4.3.3掌握硬件设备的使用方式和使用目

的，能够对硬件设备的操作和流量日志数据

进行合理提取。

4.4.1掌握数据模型关系设计能力，具备数

据表结构的规划和设计能力。

4.4.2熟练掌握关系型数据库，将采集到的

4.4网络设备数据

数据合理得存入数据库。

的存储

4.4.3具备非结构化数据库的使用能力，能

够将采集到的海量数据存入到非结构化数据

库。

12

参考文献

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

中等职业学校专业目录（征求意见稿）

普通高等学校高等职业教育（专科）专业目录及专业简介

普通高等学校本科专业目录

中等职业学校专业教学标准

高等职业学校专业教学标准（2018年）

本科专业类教学质量国家标准

《计算机科学技术名词》第三版

GBT5271.1-2000信息技术词汇第1部分基本术语

GB/T5271.17-2010信息技术词汇第17部分：数据库

GB/T35295-2017信息技术大数据术语

GB∕T33847-2017信息技术中间件术语

GB/T17143.6-1997信息技术开放系统互连系统管理第6部分:日志控

制功能

GB/T34840.3-2017信息与文献电子办公环境中文件管理原则与功能要

求第3部分:业务系统中文件管理指南与功能要求

GB-T17143.5-1997信息技术开放系统互连系统管理第5部分事件报

告管理功能

GB-T17143.6-1997信息技术开放系统互连系统管理第6部分日志控

制功能

GB-T17143.8-1997信息技术开放系统互连系统管理第8部分安全审

计跟踪功能

GB∕T36625.1-2018智慧城市数据融合第1部分概念模型

GB∕T36625.2-2018智慧城市数据融合第2部分数据编码规范

GB∕T34960.5-2018信息技术服务治理第5部分数据治理规范

SJ/T11615.1-2016网络数据采集分析软件规范第1部分：框架

GB/T22240-2008信息安全技术信息系统安全等级保护定级指南

GB/T25058-2010信息安全技术信息系统安全等级保护实施指南

数据安全管理办法

13