HBa参数配置及说明

更新时间:2023-06-04 10:18:52 阅读: 评论:0

HBa参数配置及说明
版本:0.94-cdh4.2.1
本地⽂件系统tmp⽬录,⼀般配置成local模式的设置⼀下,但是最好还是需要设置⼀下,因为很多⽂件都会默认设置成它下⾯的线上配置
<property>
<name&p.dir</name>灰白色装修效果图
<value>/mnt/dfs/11/hba/hba-tmp</value>
</property>
默认值:
${pdir}/hba-${ur.name}
写到系统的/tmp⽬录
HBa集群中所有RegionServer共享⽬录,⽤来持久化HBa的数据,⼀般设置的是hdfs的⽂件⽬录,如hdfs://namenode.
线上配置
<property>
<name&dir</name>
<value>hdfs://mycluster/hba</value>
</property>
默认值:
${p.dir}/hba
hba.cluster.distributed
找工作的方法
集群的模式,分布式还是单机模式,如果设置成fal的话,HBa进程和Zookeeper进程在同⼀个JVM进程。
线上配置为true
默认值:fal
zookeeper集群的URL配置,多个host中间⽤逗号(,)分割
线上配置
<property>
<name&keeper.quorum</name>    <value&x,</value> </property>
默认值:localhost
ZooKeeper的f中的配置。快照的存储位置
线上配置:/home/hadoop/zookeeperData
默认值:${p.dir}/zookeeper
zookeeper.ssion.timeout
客户端与zk连接超时时间
线上配置:1200000(20min)
默认值:180000(3min)
Client端与zk发送⼼跳的时间间隔
线上配置:6000(6s)
默认值:6000
hba.curity.authentication箭开头的成语
HBa集群安全认证机制,⽬前的版本只⽀持kerberos安全认证。
线上配置:kerberos
默认值:空
hba.curity.authorization
HBa是否开启安全授权机制
线上配置: true
默认值: fal
regionrver的kerberos认证的主体名称(由三部分组成:服务或⽤户名称、实例名称以及域名)
线上配置:hba/_HOST@HADOOP.
默认:⽆
regionrver keytab⽂件路径
线上配置:/home/hadoop/etc/conf/hba.keytab
默认值:⽆
hba.master.kerberos.principal
master的kerberos认证的主体名称(由三部分组成:服务或⽤户名称、实例名称以及域名)
线上配置:hba/_HOST@HADOOP.
默认:⽆
hba.master.keytab.file
master keytab⽂件路径
线上配置:/home/hadoop/etc/conf/hba.keytab
默认值:⽆
regionrver处理IO请求的线程数
线上配置:50
默认配置:10
RegionServer进程block进⾏flush触发条件:该节点上所有region的memstore之和达到upperLimit*heapsize 线上配置:0.45
默认配置:0.4
RegionServer进程触发flush的⼀个条件:该节点上所有region的memstore之和达到lowerLimit*heapsize 线上配置:0.4
让优秀成为一种习惯默认配置:0.35
hba.client.write.buffer
客户端写buffer,设置autoFlush为fal时,当客户端写满buffer才flush
线上配置:8388608(8M)
去火喝什么茶最好默认配置:2097152(2M)
hba.hregion.max.filesize
单个ColumnFamily的region⼤⼩,若按照ConstantSizeRegionSplitPolicy策略,超过设置的该值则⾃动split 线上配置:107374182400(100G)
默认配置:21474836480(20G)
store.block.multiplier
超过memstore⼤⼩的倍数达到该值则block所有写⼊请求,⾃我保护
线上配置:8(内存够⼤可以适当调⼤⼀些,出现这种情况需要客户端做调整)
默认配置:2
store.flush.size
在线驱动
memstore⼤⼩,当达到该值则会flush到外存设备
线上配置:104857600(100M)
默认值: 134217728(128M)
abled
是否开启mslab⽅案,减少因内存碎⽚导致的Full GC,提⾼整体性能
线上配置:true
默认配置: true
regionrver的hlog数量
线上配置:128
默认配置:32
hlog⼤⼩上限,达到该值则block,进⾏roll掉
线上配置:536870912(512M)
默认配置:hdfs配置的block⼤⼩
paction.min
进⼊minor compact队列的storefiles最⼩个数
线上配置:10
默认配置:3
paction.max
单次minor compact最多的⽂件个数
线上配置:30
默认配置:10
hba.hstore.blockingStoreFiles
当某⼀个region的storefile个数达到该值则block写⼊,等待compact
线上配置:100(⽣产环境可以设置得很⼤)
默认配置: 7
hba.hstore.blockingWaitTime
block的等待时间
线上配置:90000(90s)
默认配置:90000(90s)宝宝鼻炎
hba.hregion.majorcompaction
触发major compact的周期
线上配置:0(关掉major compact)
默认配置:86400000(1d)
large compact线程池的线程个数
线上配置:5
默认配置:1
small compact线程池的线程个数
线上配置:5
默认配置:1
compact(major和minor)请求进⼊large和small compact线程池的临界点
线上配置:10737418240(10G)
默认配置:2 * this.minFilesToCompact * storeFlushSize
paction.max.size
minor compact队列中storefile⽂件最⼤size
线上配置:21474836480(20G)
默认配置:Long.MAX_VALUE
hba.rpc.timeout
RPC请求timeout时间
线上配置:300000(5min)
默认配置:60000(10s)
split操作默认的策略
线上配置: org.apache.ionrver.ConstantSizeRegionSplitPolicy(采取⽼的策略,⾃⼰控制split)
默认配置: org.apache.ionrver.IncreasingToUpperBoundRegionSplitPolicy(在region没有达到maxFileSize的前提下,如果fileSize达到regionCount * regionCount * flushSize则进⾏split操作)
单台RegionServer上region数上限
线上配置:150
默认配置:2147483647
hba-env.sh配置
指定系统运⾏环境
export JAVA_HOME=/usr/lib/jvm/java-6-sun/#JDK HOME
export HBASE_HOME=/home/hadoop/cdh4/hba-0.94.2-cdh4.2.1# HBa 安装⽬录
export HBASE_LOG_DIR=/mnt/dfs/11/hba/hba-logs#⽇志输出路径
JVM参数调优
export HBASE_OPTS="-verbo:gc -XX:+PrintGCDetails -Xloggc:${HBASE_LOG_DIR}/hba-gc.log -XX:+PrintGCTimeStamps -XX:+PrintGCApplicationConcurrentTime -XX:+PrintGCApplicationStoppedTime \
-rver -Xmx20480m -Xms20480m -Xmn10240m -Xss256k  -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=15 \
痔疮中药配方-XX:ParallelGCThreads=16 -XX:+UConcMarkSweepGC -XX:+UParNewGC  -XX:CMSFullGCsBeforeCompaction=5 -XX:+UCMSCompactAtFullCollection \
-XX:+CMSClassUnloadingEnabled  -XX:CMSInitiatingOccupancyFraction=70 -XX:+UCMSInitiatingOccupancyOnly -XX:CMSMaxAbortablePrecleanTime=5000    \
"

本文发布于:2023-06-04 10:18:52,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/89/984414.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:配置   默认   线程   名称
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图