kafka单条消息过大导致线上OOM

楼高2年前技术文章1780


1 线上问题

kafka生产者罢工,停止生产,生产者内存急剧升高,导致程序几次重启。

查看日志,发现Produce程序爆异常kafka.common.MessageSizeTooLargeException。

查看kafka配置,默认单条消息最大1M,当单条消息长度超过1M,就会出现发送到broker失败,

从而导致消息在producer的队列一直累积,直到Produce OOM。

2 修改步骤

修改kafka的broker配置:message.max.bytes(默认1000000B),单条消息最大长度。使用

kafka时,应预估单条消息的最大长度,不然会发送失败

修改kafka的broker配置:replica.fetch.max.bytes (默认1MB),broker可复制的消息的最大字

节数。应该比message.max.bytes大,否则broker会接收此消息,但无法将此消息复制出去,

从而造成数据丢失

修改消费者程序端配置:fetch.message.max.bytes (默认1MB) – 消费者能读取的最大消息。

应该≥message.max.bytes。若不调节该参数,会导致消费者无法消费到消息,且不会爆出异

常或警告,导致消息在broker累积,按需调整上三参数

3 是否参数调节得越大越好或者说,单条消息越大越好?

(1)性能

通过性能测试,kafka在消息为10K时吞吐量达到最大,更大消息降低吞吐量,在设计集群的

容量时,尤其要考虑。

(2)可用的内存和分区数

Brokers会为每个分区分配replica.fetch.max.bytes参数指定的内存空间,假设

replica.fetch.max.bytes=1M

且有1000个分区,则需近1G内存,确保分区数最大的消息不会超过服务器内存,否则OOM。

消费端的fetch.message.max.bytes指定最大消息需要的内存空间,同样,分区数最大需要内

存空间不能超过服务器内存。如果有大消息要传送,则在内存一定时,只能使用较少分区数

或使用更大内存的服务器

(3)GC

更大的消息会让GC更长(因为broker需分配更大的块),关注GC日志和服务器日志信息。

若长时间的GC导致kafka丢失了zk的会话,则需配置zookeeper.session.timeout.ms参数

为更大的超时时间


相关文章

k8s删除Terminating状态的命名空间

问题描述Kubernetes中namespace有两种常见的状态,即Active和Terminating状态,其中Terminating状态一般会比较少见,当对应的命名空间下还存在运行的资源,但该命名...

apache Hbase2.x  使用hbck2修复工具

apache Hbase2.x 使用hbck2修复工具

1、背景默认情况下apache hbase 使用hbck2时,无法使用-j 来加载hbck2的jar包,无法进行修复2、解决办法是由于默认情况下只使用自带的hbase hbck修复命令,大部分功能在2...

MySQL mgr部署文档

MySQL mgr部署文档

一、环境说明1.1服务器信息1.2目录规划1.2目录规划二、环境配置2.1 关闭防火墙和selinuxservice iptabls stop /etc/selinux/conf...

Ansible自动化运维平台部署

一、部署前准备部署机器准备计算机名解析关闭防火墙、selinux时间同步软件包获得ssh免密登陆约定事项:所有服务器全部采用静态ip主机名称IP地址manage01192.168.98.200/24n...

技术实践分享 用友NC财务系统上云

技术实践分享 用友NC财务系统上云

本文分享一次成功将用友NC财务系统上云的经验,主要涉及阿里云上Oracle ASM存储扩容,阿里云ESC RAC服务器扩容,阿里云上Oracle RAC数据库迁移等相关技术,一起来看看吧!01项目背景...

MySQL 8.0 新特性:innodb_dedicated_server

MySQL 8.0 新特性:innodb_dedicated_server

一、前言Innodb Dedicated Server 是 8.0 版本推出的一个参数,开启之后可以根据服务器的配置自适应 innodb 引擎中的一些重要影响性能的参数,默认是关闭的。二、参数测试使用...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。