>>>>>#### replica >>>>>##### partition management controller 与replicas之间通讯的超时时间
controller.socket.timeout.ms = 30000
# controller-to-broker-channels消息队列的尺寸大小
# replicas响应leader的最长等待时间,若是超过这个时间,就将replicas排除在管理之外replica.lag.time.max.ms = 10000
# 是否允许控制器关闭broker ,若是设置为true,会关闭所有在这个broker上的leader,并转移到其他broker
able = fal
# 控制器关闭的尝试次数
controlled.ies = 3
# 每次关闭尝试的时间间隔
backoff.ms = 5000
# 如果relicas落后太多,将会认为此partition relicas已经失效。而一般情况下,因为网络延迟等原因,总会导致replicas中消息同步滞后。如果消息严重滞后,leader将认为此relicas网络延迟较大或者消息吞吐能力有限。在broker数量较少,或者网络不足的环境中,建议提高此值. replica.ssages = 4000
#leader与relicas的socket超时时间
replica.socket.timeout.ms= 30 * 1000
# leader复制的socket缓存大小
ive.buffer.bytes=64 * 1024
# replicas每次获取数据的最大字节数
replica.fetch.max.bytes = 1024 * 1024
# replicas同leader之间通信的最大等待时间,失败了会重试
replica.fetch.wait.max.ms = 500
# 每一个fetch操作的最小数据尺寸,如果leader中尚未同步的数据不足此值,将会等待直到数据达到这个大小
replica.fetch.min.bytes =1
# leader中进行复制的线程数,增大这个数值会增加relipca的IO
# 每个replica将最高水位进行flush的时间间隔
replica.high.watermark.checkpoint.interval.ms = 5000
# 是否自动平衡broker之间的分配策略
able = fal
# leader的不平衡比例,若是超过这个数值,会对分区进行重新的平衡
leader.imbalance.per.broker.percentage = 10
# 检查leader是否不平衡的时间间隔
leader.imbalance.ds = 300
# 客户端保留offt信息的最大空间大小
>>>>>####Consumer >>>>>##### Consumer端核心的配置是group.id、t
# 决定该Consumer归属的唯一组ID,By tting the same group id multiple process indicate that they are all part of the same consumer group.
group.id
# 消费者的ID,若是没有设置的话,会自增
consumer.id
# 一个用于跟踪调查的ID ,最好同group.id相同
client.id = <group_id>
# 对于zookeeper集群的指定,必须和broker使用同样的zk配置
# zookeeper的心跳超时时间,查过这个时间就认为是无效的消费者
zookeeper.ssion.timeout.ms = 6000
# zookeeper的等待连接时间
# zookeeper的follower同leader的同步时间
zookeeper.sync.time.ms = 2000
# 当zookeeper中没有初始的offt时,或者超出offt上限时的处理方式。
# smallest :重置为最小值
# largest:重置为最大值
# anything el:抛出异常给consumer
= largest
# socket的超时时间,实际的超时时间为max.fetch.wait + socket.timeout.ms.
socket.timeout.ms= 30 * 1000
# socket的接收缓存空间大小
#从每个分区fetch的消息大小限制
# true时,Consumer会在消费消息后将offt同步到zookeeper,这样当Consumer失败后,新的consumer就能从zookeeper获取最新的offt
# 自动提交的时间间隔
# 用于消费的最大数量的消息块缓冲大小,每个块可以等同于ssage.max.bytes中数值
ssage.chunks = 10
# 当有新的consumer加入到group时,将尝试reblance,将partitions的消费端迁移到新的consumer中, 该设置是尝试的次数
ies = 4
# 每次reblance的时间间隔
rebalance.backoff.ms = 2000
# 每次重新选举leader的时间
新h
refresh.leader.backoff.ms
# rver发送到消费端的最小数据,若是不满足这个数值则会等待直到满足指定大小。默认为1表示立即接收。
fetch.min.bytes = 1
# 若是不满足fetch.min.bytes时,等待消费端请求的最长等待时间
炖南瓜fetch.wait.max.ms = 100
# 如果指定时间内没有新消息可用于消费,就抛出异常,默认-1表示不受限consumer.timeout.ms = -1
>>>>>####Producer>>>>>##### 核心的配置包括:
# metadata.broker.list
# quired.acks
# pe
# rializer.class
# 消费者获取消息元信息(topics, partitions and replicas)的地址,配置格式是:host1:port1,host2:port2,也可以在外面设置一个vip
metadata.broker.list
#消息的确认模式
# 0:不保证消息的到达确认,只管发送,低延迟但是会出现消息的丢失,在某个rver失败的情况下,有点像TCP
# 1:发送消息,并会等待leader 收到确认后,一定的可靠性
餐桌文化# -1:发送消息,等待leader收到确认,并进行复制操作后,才返回,最高的可靠性quired.acks = 0
论点论据# 消息发送的最长等待时间
request.timeout.ms = 10000
# socket的缓存大小
nd.buffer.bytes=100*1024
# key的序列化方式,若是没有设置,同rializer.class
key.rializer.class
# 分区的策略,默认是取模
敕勒人partitioner.class=kafka.producer.DefaultPartitioner
# 消息的压缩模式,默认是none,可以有gzip和snappy
售后技术支持
# 可以针对默写特定的topic进行压缩
# 消息发送失败后的重试次数
message.ies = 3
# 每次失败后的间隔时间
retry.backoff.ms = 100
# 生产者定时更新topic元信息的时间间隔,若是设置为0,那么会在每个消息发送后都去更新数据
# 用户随意指定,但是不能重复,主要用于跟踪记录消息