更改kafka接受消息大小

报错原因提示是请求包含的消息大于服务器将接受的最大消息大小。是kafka的问题,kafka中,能接受的单条消息的大小是有限制的,默认是1M,由于现有日志中包含图片信息,远大于1M,所以提升kafka能接受的单条消息的大小程度。有两种方式,一种是修改某一个topic,一种是修改kafka的配置文件。

临时更改200M

kafka-topics.sh --create -zookeeper node1:2181,node2:2181,node3:2181 -replication-factor 1 --partitions 3 --topic accesslog --config max.message.bytes=209715200

在kafka的server.properties配置上添加两个配置:

#broker能接收消息的最大字节数
message.max.bytes=209715200

#broker可复制的消息的最大字节数,该配置项必须不小message.max.bytes,因为该配置项是消费者从partition中获取消息放入内存中所用的内存大小,
#如果小于message.max.bytes,可能会导致给消费者分配的内存放不下一个message
replica.fetch.max.bytes=209715200

修改完毕后重启启动kafka


更改kafka接受消息大小
https://www.hechunyu.com/archives/1698219299388
作者
chunyu
发布于
2022年07月25日
许可协议