使用Flink对hudiMOR表进行离线压缩

更新时间:2023-06-17 08:43:19 阅读: 评论:0

使⽤Flink对hudiMOR表进⾏离线压缩
toefl培训默认情况下,MERGE_ON_READ表的压缩是启⽤的。 触发器策略是在完成五次提交后执⾏压缩。 因为压缩会消耗⼤量内存,并且与写操作处于相同的管道中,所以当数据量很⼤(> 100000 /秒)时,很容易⼲扰写操作。 此时,使⽤离线压缩能够更稳定地执⾏压缩任务。
压缩任务的执⾏包括两个部分:计划压缩计划和执⾏压缩计划。 建议调度压缩计划的进程由写任务周期性触发,默认情况下写参数able为启⽤状态。
离线压缩需要在命令⾏上提交Flink任务。 程序⼊⼝如下: hudi-flink-bundle_2.12-0.9.0.jar : org.apache.pact.HoodieFlinkCompactor
bluea
命令⾏:
./bin/flink run -c org.apache.pact.HoodieFlinkCompactor lib/hudi-flink-bundle_2.11-0.9.0.jar --path hdfs://xxx:9000/table
2017高考数学全国卷1相关参数:
参数名是否
注会成绩
必须
默认
成人用英语怎么说参数含义
--path frue--存储在hudi上的表的路径
法国航空公司--compaction-max-
memory
英语四级多少分通过
fal100压缩期间⽇志数据的索引映射⼤⼩,默认为100 MB。 如果您有⾜够的内存,您可以打开这个参数
--schedule fal fal 是否执⾏调度压缩计划的操作。 当写进程仍在写时,打开此参数有丢失数据的风险。 因此,开启该参数时,必
comedy须确保当前没有写任务向该表写⼊数据
i fancy you
辅音音标--q fal LIFO 压缩任务执⾏的顺序。 默认情况下从最新的压缩计划执⾏。 LIFI:从最新的计划开始执⾏。 FIFO:从最古⽼的计划
执⾏。

本文发布于:2023-06-17 08:43:19,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/90/147999.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:压缩   计划   任务   默认   参数   情况   调度   数据
相关文章
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图