ApacheDoris三种数据模型(Aggregate、Uniq、Duplicate)的使。。。

更新时间:2023-05-31 08:42:03 阅读: 评论:0

ApacheDoris三种数据模型(Aggregate、Uniq、Duplicate)的使。。。
⽬录
1. key和value
这⾥的key并不是索引的意思,下⾯根据情况具体说明:
Aggregate数据模型:key为聚合的键,value为聚合的值
Uniq数据模型:key为聚合的键,value为聚合的值
Duplicate数据模型:key为建表时指定的duplicate key(sorted column,只是⽤来排序),其余字段为value
rollup
作⽤于Aggregate和Uniq数据模型:key为聚合的键,value为聚合的值数学题初中
作⽤于Duplicate数据模型:key为rollup命令添加的字段,且添加的字段都是key
2. 数据模型
2.1 Aggregate数据模型女人离婚
建表语句如下:
mysql>
mysql> create table if not exists test_db.aggregate_tb(
西安到大连-> ur_id largeint not null comment '⽤户id',
-> date date not null comment '数据插⼊⽇期',
-> city varchar(20) comment '城市',儿童皮肤过敏
-> age smallint comment '年龄',
-> x tinyint comment '性别',
-> last_visit_date datetime replace default '1970-01-01 00:00:00' comment '⽤户最后⼀次访问时间',
-> cost bigint sum default '0' comment '⽤户总消费',
-和木有关的字
> max_dwell_time int max default '0' comment '⽤户最⼤停留时间',
-> min_dwell_time int min default '0' comment '⽤户最⼩停留时间'
-> )
-> aggregate key(ur_id, date, city, age, x)
-> distributed by hash(ur_id) buckets 10
-> properties('replication_num' = '3');
Query OK, 0 rows affected (0.05 c)
mysql>
根据ur_id, date, city, age, x这5个key进⾏数据的聚合
replace表⽰取最后⼀个inrt的数据;但在同⼀个inrt中如果包含多条数据,会随机取⼀条
乘法分配律教学反思数据聚合分为3个阶段
1. 数据inrt时,会对同⼀个inrt批次的数据进⾏聚合
2. BE进⾏Compaction时,会对不同inrt批次的数据进⾏聚合
3. ⽤户进⾏查询时,在BE后端可能不同inrt批次的数据未进⾏聚合,此时会对符合查询条件的数据进⾏内部聚合(不⽤⽤户调
⽤group by,会扫描所有列的数据)后,再返回给客户端
所有的key列必须在value列之前
西兰花变黄了还能吃吗2.2 uniq数据模型
建表语句如下:
mysql>
mysql> create table if not exists test_db.uniq_tb(
-> ur_id largeint not null comment '⽤户id',
-> urname varchar(50) not null comment '⽤户名',
-> city varchar(20) comment '城市',
-> age smallint comment '年龄',
-> x tinyint comment '性别',
-> phone largeint comment '电话',
-> address varchar(500) comment '地址',
-> register_time datetime comment '注册时间'
-> )
-> unique key(ur_id, urname)
-> distributed by hash(ur_id) buckets 10
-> properties('replication_num' = '3');
Query OK, 0 rows affected (0.05 c)
mysql>
uniq数据模型其实是Aggregate数据模型的⼀种特列
根据ur_id, urname这2个key进⾏数据的聚合,其余字段按replace⽅式进⾏聚合
2.3 Duplicate数据模型中秋月饼
建表语句如下:
mysql>
mysql> create table if not exists test_db.duplicate_tb(
-> timestamp datetime not null comment '⽇志时间',
-> type int not null comment '⽇志类型',
-> error_code int comment '错误码',
-> error_msg varchar(1024) comment '错误详细信息',
-
> op_id bigint comment '负责⼈id',
-> op_time datetime comment '处理时间'
-> )
-> duplicate key(timestamp, type)
-> distributed by hash(op_id) buckets 10
-> properties('replication_num' = '3');
Query OK, 0 rows affected (0.05 c)
mysql>
数据不会发⽣内部聚合,插⼊多少条数据,查询就会返回多少条数据
duplicate key只是指定了timestamp和type两个sorted column, ⽤于数据排序,并不能作为数据唯⼀的标识

本文发布于:2023-05-31 08:42:03,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/82/819179.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:数据   聚合   时间   建表   字段   数据模型   查询   教学
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图