元数据管理

更新时间:2023-02-28 21:35:00 阅读: 评论:0

什么是元数据管理及其作用?

元数据(Meta Date),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。

元数据是数据仓库管理系统的重要组成部分,元数据管理是企业级数据仓库中的关键组件,贯穿数据仓库构建的整个过程,直接影响着数据仓库的构建、使用和维护。

构建数据仓库的主要步骤之一是ETL。这时元数据将发挥重要的作用,它定义了源数据系统到数据仓库的映射、数据转换的规则、数据仓库的逻辑结构、数据更新的规则、数据导入历史记录以及装载周期等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。

用户在使用数据仓库时,通过元数据访问数据,明确数据项的含义以及定制报表。

数据仓库的规模及其复杂性离不开正确的元数据管理,包括增加或移除外部数据源,改变数据清洗方法,控制出错的查询以及安排备份等。

元数据可分为技术元数据和业务元数据。技术元数据为开发和管理数据仓库的IT 人员使用,它描述了与数据仓库开发、管理和维护相关的数据,包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。而业务元数据为管理层和业务分析人员服务,从业务角度描述数据,包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。

由上可见,元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等,而且是整个数据仓库系统运行的基础,元数据把数据仓库系统中各个松散的组件联系起来,组成了一个有机的整体


什么是元数据管理及其作用? 关于元数据管理及其作用介绍

1、元数据管理定义:元数据管理包括业务词汇表的发展,数据元素和实体的定义,业务规则和算法以及数据特征。最基础的管理是管理业务元数据的收集、组织和维持。对技术型元数据的应用对主数据管理和数据治理项目的成功至关重要。

2、元数据管理作用:元数据是“所有系统、文档和流程中包含的所有数据的语境如果没有元数据,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值。元数据管理是一项和主数据管理、数据治理一样重要的功能,因为元数据管理是每一个这些准则的基础组件。组织部署了数据治理项目,但没有解决元数据管理问题,仍然获得了成功,那是因为很多数据管家执行的活动和任务在聚焦元数据和元数据的管理流程。

元数据管理框架如何制定,方法都在这!

元数据管理计划实施数量将持续增长到2021年以后。根据DATAVERSITY®数据管理趋势报告,有84%的业务受访者已经实施了元数据管理计划或已经开始制定计划。一家公司在元数据管理方面的成功取决于实施前是否依托于一个有用的元数据管理框架。

处理好元数据对于公司而言,在于遵守数据法规,提高数据质量,探索机器学习以及更好地使用数据。但是元数据管理超越技术,而主要依赖支持它的人员和政策。

一、什么是元数据管理框架?

元数据管理框架描述了一种使数据和元数据资产更易于访问和用于实现业务目标的组织方法。它根据组织的需求,动员并扩展了作为元数据管理基础的现有资源。

元数据管理框架发生在公司基础架构级别和运营级别。在更高层次上,元数据管理框架是伊恩·罗兰兹(Ian Rowlands)DAMA芝加哥一章中的解释说,需要行政支持和 数据策略制定更高的业务远景。此外,元数据管理框架还指导人员和自动化算法在日常工作中捕获、集成、管理和发布元数据。

从战略和战术角度考虑,元数据管理框架必须涵盖项目内部或与项目内进行交互的任何人。因此,元数据管理框架需要得到数据治理程序。

数据治理将有关元数据的可用性,具有元数据的组织优先级以及何时以及如何交付元数据的信息通知元数据管理框架。作为反馈,元数据管理框架将有关数据合规性、数据可访问性和数据质量的信息告知企业数据治理。将元数据管理和数据治理基础视为串联工作并提供数据解释。

二、选择元数据管理框架之前要考虑的因素

在创建任何元数据管理框架之前,请考虑以下事项:

获得元数据管理框架基准:即使组织中不存在正式的元数据管理框架,隐性的也存在。技术文件映射数据架构,经验丰富的业务分析师之外的人可以理解报告数据,而数据输入过程则提供了有关组织数据及其元数据管理框架片段的上下文。

获得有关人员,流程和技术已经存在以及它们如何通知组织的元数据管理框架的基准是很有意义的。使用“合格且知识渊博的数据专业l(和其他熟练的人才)来管理和解释“数据就绪性评估”以及“数据成熟度”模型,则提供了良好的元数据管理框架起点。进而,公司可以得到改善元数据管理框架的具体建议。

清楚元数据管理框架将实现的目标:清楚为什么组织需要管理元数据和实现元数据管理框架。元数据管理有助于降低培训成本,在整个数据系统中更好地使用数据并简化通信,但并不能解决所有数据问题。

如果组织优先于客户体验或开发产品和服务而不是数据共享和数据发现,那么与其他选择相比,元数据管理框架可能不是最佳解决方案。鉴于任何有用的数据管理框架都倾向于具有昂贵的设置,因此组织首先需要认真研究为什么要实施元数据管理框架。

提高集体数据素养:使用元数据需要已同步组织定义者,生产者和用户之间的协作和可重复的动作。认识到这类人存在于不同的组织部门中,并且有各种各样的跨功能技能。有些人具有很高的技术和分析能力,而另一些人则具有较软的技能。

不同的公司子集团可能会从非常不同的角度考虑并应用任何元数据管理框架。一个人的定义可能与另一个人的定义不同。

集体数据素养通过了解如何解释,交流和使用元数据更好地掌握公司数据资产,帮助利益相关者理解元数据管理框架。通过元数据进行规划,以全面了解业务需求,指导人们为什么以及如何使用任何元数据来完成工作或实现目标。

利用已经存在的元数据管理框架片段:在花钱购买工具和资源以建立新的元数据管理框架之前,请使用组织中已经存在的元数据管理框架来快速获胜并展示其价值。让知道如何解释客户报告含义的人记录该知识。更新现有的技术架构图,以包含更健壮的元数据,例如数据字典。

另外,请考虑有关构建或改进元数据管理框架的现有标准和实践。例如,国际统计分类由世界卫生组织(WHO)批准的《疾病分类》为临床医生,研究人员和医疗帐单人员定义了疾病和健康问题。如果与业务相关,请利用现有的权威元数据源。

三、总结

元数据管理框架不仅仅是技术解决方案。它描述了管理元数据,动员人员,技术和实践的方法和愿景。而且,元数据管理框架与数据治理紧密地交织在一起。做好元数据管理需要在整个组织中建立牢固的元数据管理框架基础。

四、元数据管理工具介绍

亿信华辰元数据管理平台(EsPowerMeta)提供了完善的元模型和元数据维护功能,采用多种方式简化元数据维护的复杂性。系统支持元数据的自动获取和时间调度管理,支持手工创建和变更元数据,并配合版本管理,能完整存储元数据整个生命周期动态和变化,方便用户跟踪业务运作的历史数据。亿信华辰元数据管理平台应用案例:

佛山某区政务服务数据管理局元数据管理平台

建设内容:

政务服务数据管理局基于区内各政府部门的数据进行汇总和治理,面向各部门提供统一的数据服务和应用,实现“用数据决策、用数据监管、用数据创业”的数据统筹发展运行机制。本项目通过元数据管理平台,梳理各类数据来源,实现卫计委、工商局、流管局等各政府部门的元数据自动采集,理清现有的数据流转流程和数据架构,并基于其构建一套新的数据架构,同时提供数据血缘分析、影响分析等,最后形成全区的政务数据地图。

项目价值:

帮助数据管理局确定数据来源和数据架构,为后续数据标准建设,数据质量管理打下坚实的基础,并为政务资源目录、自主填报系统、教育无纸化等应用提供支撑。

元数据的管理

初期的元数据管理通常是在事后由相应的元数据管理软件,从已开发完成的应用系统中抽取用户所关注的各类元数据,再由人工补录一些注释和管理用的属性。这种模式称之为基本元数据管理,由于存在元数据获取的不及时,存在为了减少工作量有些属性空缺的风险,存在对应用体验支持力度的不足,实际应用并不普遍。在新一代应用系统(AS2.0) 中,业务功能通常都是由相应的构件,以人机交互的形式,通过在人工业务语境的对话过程中组装实现的。这个过程中,不仅完成了业务应用所需要的应用软件元素,同时也完成了应用软件元素相对应的元数据的采集。这种模式称之为主动元数据管理。以下是元数据管理的主要功能,后2部分属于主动元数据管理的内容。 元模型管理。利用可视化的用户体验,实现包括元模型添加、删除、修改、发布等维护功能;并且能让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯,以及每个元模型的生命周期管理等等。
元数据管理。元数据管理实现针对元数据的基本管理功能。如元数据的添加、删除、修改属性等维护功能;元数据之间关系的建立、删除和跟踪等关系维护功能;提供元数据发布流程管理,可以更好地管理和跟踪元数据的整个生命周期;元数据自身质量核查、元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期管理等功能。
元数据分析。元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。 各类应用软件元素产生的元数据进入元数据平台后,元数据管理可通过元数据服务功能,为需要这些元数据的工具软件或构件提供元数据服务。如将前面所述的各种工具软件的定义结果,以相应的标准协议进行打包形成方案(应用脚本),提供给其它应用环境中的物理表建立工具、ETL工具、多维模型建立工具、结果展现工具等底层工具,从而实现应用的重用和共享。同时,元数据服务还可为业务应用功能提供辅助的元数据帮助信息,如业务功能中加工结果和指标的说明、提示,及其血缘分析等,让用户可明确、直观地了解数据的来源、加工过程及加工算法等信息。


元数据管理及其作用是什么?

元数据管理是一个根据使用这些资产的方式来管理组织的数据资产的流程。利用可视化的用户体验,实现包括元模型添加、删除、修改、发布等维护功能;并且能让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯,以及每个元模型的生命周期管理等等


什么是元数据管理及其作用?

元数据管理是一个根据使用这些资产的方式来管理组织的数据资产的流程。此流程能集成、链接和集中管理多个来源的元数据,便于在整个组织内妥善维护、分析、消费和解释数据。当从业务元数据和技术元数据中得出数据的含义时,可以更有效地汇总和集成数据。简言之,当有效管理元数据时,数据变得更有 价值。
IT 组织需要有效的元数据管理解决方案以:
�6�1 简化数据发现和跟踪数据中央目录。大多数公司需要管理日益复杂的系统。通过管理元数据,IT 组织可以在能够快速发现数据资产的多个系统内创建数据资产库存。
�6�1 通过重复使用数据加强一致性并消除冗余,从而提高工作效率并降低项目付时间。可以将中央元数据资料库当作“单一数据源”来发现开发人员可以充分利用的可重用组件。公司可以减少冗余或未使用数据的数量,从而允许进行硬件和软件整合并节省成本。
�6�1 通过制定更有效的开发流程来提高 IT 部门对业务的响应度。元数据的集成和可见性可以帮助 IT 部门了解存在哪些数据、数据存储位置及其含义,从而最大限度地降低信息的复杂性。此外,这种可见性通过不断变更业务要求为分析变化所带来的影响提供了基础架构,并将会加快新数据集成项目的开发。数据集成开发人员可以依赖这些信息来轻松和准确地确定他们的数据集成项目所需的数据。并且,能够访问潜在变化所带来的影响也可以帮助管理人员快速评估项目的持续时间和资源成本。

本文发布于:2023-02-28 18:57:00,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/zhishi/a/167759130049810.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

本文word下载地址:元数据管理.doc

本文 PDF 下载地址:元数据管理.pdf

上一篇:tabctl32.ocx
下一篇:返回列表
标签:数据管理
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 实用文体写作网旗下知识大全大全栏目是一个全百科类宝库! 优秀范文|法律文书|专利查询|