Kafka常见错误整理(不断更新中)

更新时间:2023-06-22 21:26:25 阅读: 评论:0

Kafka常见错误整理(不断更新中)
1、UnknownTopicOrPartitionException
org.s.UnknownTopicOrPartitionException:
This rver does not host this topic-partition
报错内容:分区数据不在
原因分析:producer向不存在的topic发送消息,⽤户可以检查topic是否存在或者设置able参数男人人体艺术
川味正宗红烧肥肠2、LEADER_NOT_AVAILABLE
WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient
报错内容:leader不可⽤
原因分析:原因很多 topic正在被删除正在进⾏leader选举使⽤kafka-topics脚本检查leader信息
进⽽检查broker的存活情况尝试重启解决
3、NotLeaderForPartitionException
幸福的黄色电影org.s.NotLeaderForPartitionException: This rver is not the leader for that topic-partition
报错内容:broker已经不是对应分区的leader了
原因分析:发⽣在leader变更时当leader从⼀个broker切换到另⼀个broker时,要分析什么原因引起了leader的切换
益生菌的副作用
4、TimeoutException
org.s.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has pas
报错内容:请求超时
原因分析:观察哪⾥抛出的观察⽹络是否能通如果可以通可以考虑增加request.timeout.ms的值
5、RecordTooLargeException
WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.s.RecordTooLargeException 报错内容:消息过⼤
原因分析:⽣产者端消息处理不过来了可以增加 request.timeout.ms 减少 batch.size
6、Closing socket connection
Closing socket connection to/127,0,0,1.(kafkawork.Processor)
娇好
报错内容:连接关闭
原因分析:如果javaApi producer版本⾼,想在客户端consumer启动低版本验证,会不停的报错
⽆法识别客户端消息。
7、ConcurrentModificationException
java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
报错内容:线程不安全
见习日志
原因分析:Kafka consumer是⾮线程安全的
8、NetWorkException
[kafka-producer-network-thread | producer-1] o.work.Selector : [Producer clientId=producer-1] Connection with / disconnected
报错内容:⽹络异常
原因分析:⽹络连接中断检查broker的⽹络情况
9、ILLEGAL_GENERATION
毛坯房装修步骤ILLEGAL_GENERATION occurred while committing offts for group
报错内容:⽆效的“代”
原因分析:consumer错过了 rebalance 原因是consumer花了⼤量时间处理数据。
需要适当减少 ds值增加 max.poll.interval.ms 或者想办法增加消息处理的速度未完待续~~~
考试题
⼤数据流动专注于⼤数据实时计算,数据治理,数据可视化等技术分享与实践。
请在后台回复关键字下载相关资料。相关学习交流群已经成⽴,欢迎加⼊~

本文发布于:2023-06-22 21:26:25,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/89/1050363.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:数据   报错   内容
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图