CPIC-Greenplum 调优汇总

更新时间:2023-07-27 02:24:08 阅读: 评论:0

                                                   
中国太平洋保险
中日文在线翻译Greenplum数据库调优总结
易安信电脑系统(中国)有限公司
2013年03月20日

文档信息
项目名称:
Greenplum调优报告
文档版本号:
1.0
文档作者:
龙国荣
生成日期:
2013/03/20
parkinglot
文档审核者:
审核日期:
pupil是什么意思文档维护记录
kindredmcgrady递交英文
版本号
维护日期
作者/维护人
描述
1.0
2013/03/20
龙国荣
创建
版权说明
本文件中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容,除另有特别注明,版权均属EMC公司所有,受到有关产权及版权法保护。任何个人、机构未经EMC公司的书面授权许可,不得复制、引用或传播本文件的任何片断,无论通过电子形式或非电子形式。
目  录
第一章    调优需求    4
第二章    调优时间安排    5
第三章    调优过程    6
3.1    Greenplum执行计划分析    6
3.1.1    在不同时期执行计划比较    7
3.1.2    差异原因分析    9
3.1.3    调优原则    10
3.2    分布健选择策略    10
3.2.1    调优前效率    10
3.2.2    调优后效率    10
3.2.3    调优SQL    10
3.2.4    效率分析    12
3.2.5    调优方案    15
3.2.6    调优原则    15
3.3    索引、主健约束    16
3.3.1    调优前效率    16
3.3.2    调优后效率    16
3.3.3    调优SQL    16
3.3.4    效率分析    16
3.3.5    调优方案    16
3.3.6    调优原则    17
3.4    分区表规划    17
3.4.1    调优前效率    17
3.4.2    调优后效率    17
3.4.3    调优SQL    17
3.4.4    效率分析    19
3.4.5    调优方案    19
3.4.6    调优原则    20
3.5    关联查询效率优化    20
3.5.1    调优SQL    20
3.5.2    效率分析    21
3.5.3    调优方案    22
3.5.4    调优原则    23
第四章    后续优化建议    24
4.1    硬件问题    24
4.2    磁盘空间回收    24
4.3    分布健调整    25
4.4    分区表建立    25
第一章 调优需求
中国太保EDW平台部分新应用上线后,出现系统性能下降和部分function执行缓慢,需要对系统进行检查和调优。
vlk
环境现状如下:2+12的GP集群环境,已保存28TB的生产数据,基本上没有使用压缩表和分区表。
生产情况:在有2-3个任务并行的情况下,数据库相应非常缓慢,部分function在晚上有并发的时候执行,会很慢,但在白天单任务执行的时候会快很多。
第二章 调优时间安排
本次调优从2月18号进场开始,分成三个阶段,每阶段现场服务、调优一周。
第一阶段:2月18号----2月22号,调优过程中发现GP环境中129节点磁盘读写性能很差,同一RAID卡上一个数据目录读写性能只有100+MB/S,另一磁盘目录有300+MB/S。经查是磁盘柜头硬件故障,21号晚更换硬件后,129节点的磁盘读写性能都能达到900MB/S左右。
第二阶段:3月4号----3月8号,针对MIS应用进行调优,发现几类共性的问题。
第三阶段:3月18号----3月22号,临时性的问题解决处理,调优问题总结和培训。
第三章 调优过程
本次现场服务,除了解决129节点的硬件问题外,还解决了寿险、产险等MIS模块的一些典型的SQL效率问题,具体如下:
三.1 Greenplum执行计划分析
explain
lect
      '200905',
wound
      coalesce(A.book_t_id,' '),
      coalesce(b.book_type,' '),-- 12月份数据book_type有三种状态:“1”,调整2  “2” 用一月份的期初数当12月份的期末数(因为期初数与期末数不平) “3”调整前
      coalesce(B.branch_company_code,' '),
      coalesce(B.cur_code,' '),
      coalesce(b.main_product_code,' '),
      coalesce(A.index_id,' '),
      coalesce(a.INDEX_NAME,' '),
      coalesce(a.F_INDEX_ID,' '),
      coalesce(a.INDEX_LEVEL,' '),
      sum( B.PERIOD_NET_CR+B.BEGIN_BALANCE_CR-B.PERIOD_NET_DR-B.BEGIN_BALANCE_DR) --本期借款 +期初借款-本期贷款-期初贷款
      from T_FACT_FIN_AL_CONFIG A
skirtup
      LEFT JOIN f_bb_fin_account_balances_mid B
      ON b.index_id between A.BEGIN_SUBJECT and A.END_SUBJECT
      WHERE a.index_level = 4 and b.date_stamp = '200905'
      AND A.BOOK_SET_ID=B.book_t_id
      GROUP BY A.D_OR_C,
                coalesce(A.book_t_id,' '),
                coalesce(b.book_type,' '),
                coalesce(B.branch_company_code,' '),
                coalesce(B.cur_code,' '),

本文发布于:2023-07-27 02:24:08,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/90/189884.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:调优   文档   问题   执行
相关文章
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图