面试题-ETL

更新时间:2023-06-25 19:45:14 阅读: 评论:0

1. What are the primary goals of 仙居客the data discovery pha of the d ata warehou  project?
据仓库项目中,数据探索阶段的主要目的是什么?
答:
逻辑数据映射进行之前,需要首先对所有的源系统进行分析。 对源系统的分析 通常包括两个阶段,一个是数据探索阶段( Data Discovery  Pha ),另一 异常数据检测阶段。
数据探索阶段包括以下内容:
1 .采集所有的源系统的文档、数据字典等内容。
2 .采集源系统的使用情况,如谁在用、每天多少人用、占多少存储空间等内容。
3 .判断出数据的起始来源( System-of-Record )。
4 .通数据概况( Data为什么杀犹太人 Profiling )来对源系统的数据关系进行分析。
据探索阶段的主要目的是理解源系统的情况,为后续的数据建模和逻辑数据映我的微幸福作文 打下坚实
的基础。
2. What are the four basic  Data  Flow steps of an  ETL process?
ETL 过程中四个基本的过程分别是什么?

高一数学必修一知识点总结
答:
Kimball 数据仓库构建方法中, ETL 的过程和传统的实现方法有一些不同,主要 为四个阶段,分别是抽取( extract )、清洗( clean )、一致性处理( comf orm)和交付(delivery),简称为 ECCD
1 .抽取阶段的主要任务是:
取源系统的数据模型。
并访问源系统的数据。
河北博物馆
化数据捕获。
取数据到数据准备区。
2 .清洗阶段的主要任务是:
并增补列的属性。
并增补数据结构。
并增补数据规则。
复杂的业务规则。
立元数据库描述数据质量。
清洗后的数据保存到数据准备区。

3 一致性处理阶段的主要任务是:
一致处理业务标签,即维度表中的描述属性。
一致性处理业务度量及性能指标,通常是事实表中的事实。
除重复数据。
际化处理。
将一致处理后的数据保存到数据准备区。
4 .交付阶段的主要任务是:
加载星的和经过雪花处理的维度表数据。
产生日期维度。
载退化维度。
载子维度。
载 1、2、  3 型的缓慢变化维度。
处理到的维度和迟到的事实。
载多值维度。
加载有复杂层级结构的维度。

加载文本事实到维度表
智能手表怎么用理事实表的代理键。
三个基本类型的事实表数据。
载和更新会萃。
理好的数据加载到数据仓库。
从这个任务表中可以看出, ETL 的过程和数据仓库建模的过程结合的非常紧  密。换句话说 ETL 系统的设计应该和目标表的设计同时开始。通常来说,数据 仓库架师和 ET
L 系统设计师是同一个人。
3.  Describe the 企业文化图片different types of ETL metadata and provide exampl es of each.
例说明各种 ETL 过程中的元数据。
答:元数据是 ETL 项目组面对的一个非常重要的主题,对于整个数据仓库项目 也是非常重要的一部份。对于元数据的分类和使用没有很确定的定义。
常来说,我们可以把元数据分为三类,分别为业务元数据( Business  Metad ata ),技术元数据(Technical  Metadata )和过程处理元数据( Process Exe cution Metadata )。

务元数据,是从业务的角度对数据的描述。 通常是用来给报表工具和前端用户 对数进行分析和使用提供匡助。
技术元数据,是从技术的角度对数据的描述。 通常包括数据的一些属性,如数据 类型、长、或者数据概况分析后一些结果。
过程处理元数据,是 ETL 处理过程中的一些统计数据,通常包括有多少条记录 被加载,多少条记录被拒绝接受等数据
4. What steps do you 跳音记号take to determine the bottleneck of a slow r unning ETL process?
如果 ETL 进程运较慢,需要分哪几步去找到 ETL 系统的瓶颈问题。
答: ETL 系统遇到性能问题,运行很慢是一件较常见的事情,这时要做的是逐步 到系统的瓶颈在哪里。
首先要确是由 CPU、内存、  I/O 和网络等产生的瓶颈,还是由 ETL 处理过程 生的瓶颈。
如果环境没有瓶颈,那末需要分析 ETL 的代码。这时,我们可以采用排除的方  法,需要隔离不同的操作,并分别对它们进行测试。 如果是采用纯手工编码方  ETL 处理,隔离不同的操作要麻烦一些,这时需要根据编码的实际情况来处  理。如果是采用 ETL 工具的话,前的 ETL 工具应该都有隔离不同处理的功能, 隔离起来相对容易一些

本文发布于:2023-06-25 19:45:14,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/89/1054731.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:数据   系统   维度   处理   阶段   事实
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图