高职院校大数据分析平台解决方案

高职院校大数据分析平台解决方案

项目主要工作内容

1. 建立统一身份认证平台

随着学校IT应用的迅速发展，各种业务系统和用户数量在不断增加，网络规模也逐日

扩大，访问控制和信息安全问题愈见突出，原有分散的“独立认证、独立授权、独立帐号管

理”的模式已经不能满足学校目前及未来发展的要求；因此，构建一个完整统一、高效稳定、

安全可靠的集中身份认证和管理平台已经成为智慧校园建设的重要目标。

2. 建立公共数据管理中心

随着学校信息化建设的愈发深入，由于缺乏高层的统筹规划和统一的信息标准，导致大

量“烟囱式”的应用林立。一方面，使各个子系统数据需要重复录入，无形中带来多余工作

量。另一方面，各独立的信息系统也造成管理信息流通不便，信息不能共享，形成许多“信

息孤岛”，远没有发挥信息化应有的效力。要解决“信息孤岛”的问题，就必须进行统一的

信息资源规划，而规划的重要内容之一就是数据大整合。

一、 项目建设预期成效

1 统一身份认证平台建设预期成效：

统一身份认证平台可全面解决学校在访问控制（Authentication）、身份管理

（Account）、统一授权（Authorization）等方面存在的安全和管理难题。统一身份认

证平台构建并维护用户基本信息库（含国别、身份证号、姓名、性别、出生日期、照片、

帐号（卡号）、密码（采用单向加密算法进行加密存储）与用户身份（教职工/学生/校

1

友/特殊访问者）等），为每一个用户提供唯一的电子身份；构建并维护应用服务注册信

息库，为每一项应用服务提供唯一的电子身份；构建公钥基础设施（PKI）、认证机构（CA），

实现校园综合管理平台安全、可靠的统一身份认证与网上数据传输。

简而言之，统一身份认证平台可实现学校各业务系统间用户登录账号的统一和单点

登录，一套账号、一次登录则所有平台可畅行使用。

2 公共数据管理中心建设预期成效：

通过建设一个标准的公共数据仓库，构建公共数据管理中心，然后对其他的业务子系统

提供数据接口，使各子系统的基础数据全部调用公共数据管理中心里面的数据，这样只要对

公共数据管理中心的数据进行维护，其他各子系统的基础数据也可以及时调用或更新，这样

既节省了建设公共数据库的大量投入，又可以实现业务层面的数据共享，实现学校数据的流

通和统一管理。

简而言之，公共数据管理中心可减少学校业务系统维护人员的基础数据录入工作量和维

护难度，基础数据可统一化、标准化，避免基础数据在各系统间同义不同名。

二、 项目实施的基本流程

2

本项目实施的基本流程如下图所示：

3

三、 数据融合及分析的原理性架构

1. ETL

ETL 指数据的抽取、转换与装载，是构建数据仓库的重要的基础性工作。ETL 是数据

流动的过程，即从不同异构数据源流向统一的目标数据的过程。其间，数据的抽取、转换和

装载形成串行或并行的过程。ETL 是数据仓库中的非常重要的一环，它是承前启后的必要

的一步

2. SRC 层

SRC 层存放原始数据，ETL 从其他业务系统抽取的数据在经过清洗和预处理后首先放

4

入 SRC 层。

3. ODS 层

ODS 层是一个面向数据主题的、集成的、可变的、当前的细节数据集合层，用于支持

企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的数据处理的

过渡，以降低直接进行数据处理的复杂度。

4. 数据集市（DM）

数据集市作为商业智能系统的组成部分，从企业数据仓库中 ODS 层、抽取相关数据

并进行转换和装载，并根据应用需求形成的数据集合，支撑各个业务部门及人员进行建设专

业化应用。

四、 集成平台的功能体系

模块 子模块 功能 功能描述

系统基本参数配置

系统配置设置 系统邮箱服务配置

用户相关的基本配置

系统配置管理 管理平台配置

系统行为日志管理 系统操作日志查询和删除

管理

菜单管理

和删除

权限规则模块管理 平台所有权限规则模块管理

权限规则管理 平台权限规则管理，按权限规则和模块分

基础管理 文件格式管理 文件格式的查询、添加、编辑和删除

系统管理

平台菜单管理，操作功能包括添加、编辑

5

数据字典管理 数据字典的查询、添加、编辑和删除

数据字典数据管理 数据字典数据的查询、添加、编辑和删除

管理学校部门信息，可以进行添加、编辑、

部门管理 部门管理

删除、查询的操作,设置部门负责人

管理学校院系信息，可以进行添加、编辑、

院系管理 院系管理

删除、查询的操作,设置院系负责人

管理学校专业信息，可以进行添加、编辑、

专业管理 专业管理

删除、查询的操作,设置专业负责人

管理教研组信息，可以进行添加、编辑、

教研组管理 教研组管理

删除、查询的操作,设置教研组负责人

用户的管理，包括添加、编辑、删除、启

用户信息管理 用禁用、导入和导出，用户可以设置多个

用户管理

角，设置用户身份

系统角的管理，可以操作的功能包括添

角权限管理

加、编辑、删除、设置角操作权限

系统预定义几种数据源类型，包括文件、

数据源类型管理

接口、数据库

数据支持Csv文件和excel文件导入源文件管

数据文件管理

中心数据源管理 理

管理

数据库链接配置管

库链接配置信息管理，包括数据库类型、

理

IP地址、端口号、数据库名称、用户名、

6

支持mysql、oracle、sqlserver等数据

密码等

支持包括JSO、xml、webservice的数

数据接口管理

据接口

支持从CSV文件、EXCEL文件、mysql、

oracle、sqlserver等数据库、数据接口

数据导入 数据导入

服务导入数据到系统，支持定时任务自动

导入数据。

利用ETL

（Extraction-Transformation-Loading，

数据抽取、转换、加载工具）工具负责将

数据转换 数据转换 分散的、异构数据源中的数据如关系数

据、平面数据文件等抽取到临时中间层后

进行清洗、转换、集成，最后加载到数据

仓库中

已导入数据查看已经导入到系统中的数据库表，管理

已导入数据管理

管理 数据表，可以删除、编辑和修改数据

创建定时任务，管理定时任务。在任务调

度中配置ETL执行时间、执行周期、执行

任务管理 任务管理

过程等内容，可实现自动化的完成数据的

采集、处理等过程。

任务日志查查询任务的执行日志，可以监控系统任务

任务日志查询

询 执行情况。

7

创建填报表；管理数据填报表，可以编辑、

填报表管理

删除填报表，自定义填报表字段

数据填报 录入填报表数据 录入填报表的数据

按填报表管理填报表的数据，用户可以查

填报表数据管理

询、编辑和删除数据

管理数据模型分类，用户可以添加、编辑、

数据模型分类管理

删除、启用和禁用分类

管理者可以创建一个新的多维数据模型，

数据建模 创建数据模型

设置关联的数据表

管理已经创建的数据模型，用户可以查

数据模型管理

看、编辑和删除

多维分析的创建、编辑。多维分析专门设

计用于支持复杂的分析操作，可以快速、

数据

多维分析 多维分析 灵活地进行大数据量的复杂查询处理，并

分析

且以一种直观而易懂的形式将查询结果

提供给决策人员

报表分类管报表分类的创建、编辑和删除，设置分类

报表分类管理

理 查询权限

报表报表的创建，可以编辑、删除报表，根据

自定义报表 自定义报表

统计 用户权限设置用户查看报表的权限

报表查询，根据用户查看权限，展示报表

报表查询 报表查询

结果，支持导入、打印功能

8

五、 各实施阶段的工作内容、分工与工时预期

以下为本校园数据融合建设的工作内容、分工与工时预期：

➢ 学校所规划的第一期、第二期的工作内容，在启动阶段就需要统筹规划，甚至可能

就一次性完成规划建设，未必是按照原始需求那样分成若干期；

➢ 当前，我们还没有跟学校进行过详细交流，学校信息系统的基础以及需求的合理性、

复杂度期望等，还很不清晰，因此，很难给出准确的工期，下表中给出明确工时的

工作，都是分析性或测试性的工作，这些工作的工时与学校当前的基础关系不大；

➢ 因此，最终基于原始需求需要多少项目周期，还必须基于双方的第一轮交流结果来

确定。

预期工

阶段 工作内容 分工

时

校方须提供目前学校相关系统的功能及数

首期需求讨论和

第一阶

需求确定

段 需求采集

台的功能及数据意向

与统一身份

校方提供此前确定的相关各系统的数据库

认证平台建

设

详细数据的采集待定

结构

和分析

公司需求分析人员

整理完整的一期系统分析人员完成系统架构分析、详细功能5-10工作

双方协商讨论确定需要进入大数据分析平

据

3

9

需求的技术解决分析和数据分析、整理完成技术解决方案 日

方案

校方确认技术解决方案

校方负责协调已有业务系统提供商技术人

统一身份认证平员与公司技术人员进行各系统用户打通及

台建设单点登录对接，公司方开发统一身份认证平

台

由架构师、UI设计师、前端工程师、程序

40-50工作

日

进行系统架构及待定

程序开发 测试工程师同步测试和检查工作结果

开发工程师共同进行平台开发

项目负责人对平台进行评估和纠错调整

第二阶内部测试和部署

段 公共数据实验

管理中心建

设

内部进行系统稳定度、压力测试等平台评测

10工作日

编写平台测试报告

公司实施人员和技术人员将完成的平台进

行实地部署试运行

平台试运行与调校方各系统管理人员进行配合，包括原系统5-10工作

试修改 的系统备份和数据备份恢复等工作 日

公司技术人员对试运行阶段出现的问题进

行分析和解决并做技术备案

实施人员进行正式平台安装，正式投入运行

第三阶

平台交付和培训 2-6工作日

段

使用

公司培训人员进行平台使用的培训，并提供

用户使用手册

10

校方指定的管理人员接受培训和考核；

平台维护 公司对运行中的平台进行维护 待定

六、 项目第一及第二期的分期预算与总预算

由于当下还不能确定“各实施阶段的工作内容、分工与工时预期”中的实际需求、工时

要求、人工配置要求等内容，因此分期或总预算还不能确定。初步预算暂定为 万（不包

含学校已有业务系统提供商接口开发和二次开发费用），具体预算情况，也需要到学校了解

学校各类信息系统的情况，以及网络基础设施的情况。

七、 项目的技术与成本风险控制

1. 需求控制风险：很多项目在确定需求时都面临着一些不可确定性，可能在项目前期容忍

了这些不确定因素，但是项目的实施过程中如果解决不了，就会对项目的成功造成很大

的威胁。这就要求双方在整个项目实施过程中紧密配合，加强沟通，早发现问题，及时

解决。

2. 项目实施风险：该项目涉及多个异构系统的数据层整合，在整个项目实施过程中，可能

会因为某个系统的一些特殊性影响整个项目的进度。这需要实施方根据自身经验，提前

发现，提前提出解决；如果后期发现，需要及时向需求方提出解决方案。

3. 系统研发风险：现在的技术发展日新月异，为保证项目的顺利进行和运行的稳定性，需

求方应尽量减少在技术细节方面对实施方强制要求更新，应尽量按照之前确认的实施方

案技术参数执行，并提供稳定的运行环境支持。

4. 综合成本风险：软件系统集成与数据融合是一项综合了教育教学研究、教育信息化建设

与数据分析研究的复杂项目体系，需求控制风险、项目实施风险、系统研发风险以及整

11

体项目管理风险控制不当，都将造成项目成本的提升，因此必须通过有效地控制技术成

本来有效地控制经费投入成本。

12