Kafka常见错误整理(不断更新中)
1、UnknownTopicOrPartitionException
org.s.UnknownTopicOrPartitionException:
This rver does not host this topic-partition
报错内容:分区数据不在
原因分析:producer向不存在的topic发送消息,⽤户可以检查topic是否存在或者设置able参数男人人体艺术
川味正宗红烧肥肠2、LEADER_NOT_AVAILABLE
WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient
报错内容:leader不可⽤
原因分析:原因很多 topic正在被删除正在进⾏leader选举使⽤kafka-topics脚本检查leader信息
进⽽检查broker的存活情况尝试重启解决
3、NotLeaderForPartitionException
幸福的黄色电影org.s.NotLeaderForPartitionException: This rver is not the leader for that topic-partition
报错内容:broker已经不是对应分区的leader了
原因分析:发⽣在leader变更时当leader从⼀个broker切换到另⼀个broker时,要分析什么原因引起了leader的切换
益生菌的副作用
4、TimeoutException
org.s.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has pas
报错内容:请求超时
原因分析:观察哪⾥抛出的观察⽹络是否能通如果可以通可以考虑增加request.timeout.ms的值
5、RecordTooLargeException
WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.s.RecordTooLargeException 报错内容:消息过⼤
原因分析:⽣产者端消息处理不过来了可以增加 request.timeout.ms 减少 batch.size
6、Closing socket connection
Closing socket connection to/127,0,0,1.(kafkawork.Processor)
娇好
报错内容:连接关闭
原因分析:如果javaApi producer版本⾼,想在客户端consumer启动低版本验证,会不停的报错
⽆法识别客户端消息。
7、ConcurrentModificationException
java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
报错内容:线程不安全
见习日志
原因分析:Kafka consumer是⾮线程安全的
8、NetWorkException
[kafka-producer-network-thread | producer-1] o.work.Selector : [Producer clientId=producer-1] Connection with / disconnected
报错内容:⽹络异常
原因分析:⽹络连接中断检查broker的⽹络情况
9、ILLEGAL_GENERATION
毛坯房装修步骤ILLEGAL_GENERATION occurred while committing offts for group
报错内容:⽆效的“代”
原因分析:consumer错过了 rebalance 原因是consumer花了⼤量时间处理数据。
需要适当减少 ds值增加 max.poll.interval.ms 或者想办法增加消息处理的速度未完待续~~~
考试题
⼤数据流动专注于⼤数据实时计算,数据治理,数据可视化等技术分享与实践。
请在后台回复关键字下载相关资料。相关学习交流群已经成⽴,欢迎加⼊~