更改kafka接受消息大小
报错原因提示是请求包含的消息大于服务器将接受的最大消息大小。是kafka的问题,kafka中,能接受的单条消息的大小是有限制的,默认是1M,由于现有日志中包含图片信息,远大于1M,所以提升kafka能接受的单条消息的大小程度。有两种方式,一种是修改某一个topic,一种是修改kafka的配置文件。
临时更改200M
kafka-topics.sh --create -zookeeper node1:2181,node2:2181,node3:2181 -replication-factor 1 --partitions 3 --topic accesslog --config max.message.bytes=209715200
在kafka的server.properties配置上添加两个配置:
#broker能接收消息的最大字节数
message.max.bytes=209715200
#broker可复制的消息的最大字节数,该配置项必须不小message.max.bytes,因为该配置项是消费者从partition中获取消息放入内存中所用的内存大小,
#如果小于message.max.bytes,可能会导致给消费者分配的内存放不下一个message
replica.fetch.max.bytes=209715200
修改完毕后重启启动kafka
更改kafka接受消息大小
https://www.hechunyu.com/archives/1698219299388