大数据实战Demo系统MaxCompute数据仓库数据转换实践介绍
数据架构及流程
hdfs hba
RDS OSS
土木工程生产实习报告文件
数据源
MaxCompute
代步机临时层
招聘模版
增量数据
全量数据
基础数据层
客户 商品 事件
渠道 代码
核心模型
通用汇总 通用汇总
应用层
数据集市
客户分析 销售分析 商品库存分析
…
基础数据层
◆基础数据层包含客户、商品、事件、渠道、代码等数据，共26张表；
基础数据层表的设计原则：1、能保存历史数据；2、能方便、高效的使用
基础数据层表的分类：1、主表；2、历史表；3、追加表
使用数据仓库的实体、属性命名规范（则）来创建模型表。应用层同样适用这个原则。
数据保留周期：永久
ETL加载转换策略：
✓M1：全表覆盖
✓M2：更新插入
✓M3：直接加载
✓M4：全量历史拉链发展目标
✓M5：增量历史拉链刘振山
应用层
◆应用层
包围英语
驱蚊花露水包含客户分析、销售分析、商品分析等集市表，主要是追加表；
数据按需进行保留。
ETL算法
刘禅怎么玩◆M2：更新插入（主表）算法◆M3：直接加载算法
◆M4：全量历史表算法
