kafka节点数规划

南墨2年前技术文章925

按磁盘容量规划节点数

Kafka的数据存放在本地磁盘,建议使用SAS盘,提供较高磁盘IO,以提高Kafka吞吐量。在本规划基于的硬件规格下,单节点平均吞吐量参考值为读300MB/s,写150MB/s。

数据输入

  • 数据输入吞吐量

  • 单节点磁盘容量

  • 数据保留时间

  • 数据复本数

  • 单个消费者的峰值

  • 单个生产者的峰值

磁盘实际容量

由于磁盘存在1M = 1024 KB or 1M = 1000KB的算法不同,一般来说,

磁盘实际可用容量 = 磁盘标注容量 * 0.9

举例说明,磁盘标注容量为600G,实际容量=600 * 0.9 = 540G。

数据副本数

副本数直接决定了消息的膨胀率,如:一条写入到topic1中的消息大小是1M,topic1的副本数是3,那么最终存入broker的消息大小就是3M。

分区数要求

Kafka集群中,分区越多吞吐量越高,但是分区过多也存在潜在影响,例如文件句柄增加、不可用性增加

(如:某个节点故障后,部分Partition重选Leader后时间窗口会比较大)及端到端时延增加等。

建议:

单个Partition的磁盘占用最大不超过100GB;单节点上Partition数目不超过3000;整个集群的分区总数不超过10000。


相关文章

oracle adg切换

1 主库转备库注意:原则上至多只能有一个主库,但是备库可以多个,所以需要先进行主库转备库操作。1.1 查看主库角色切换状态SYS@proe>select name,database_role,s...

大数据集群部署规划(二)硬件配置要求

CPU(虚拟机建议配置*2)X86服务器:最低配置:双路4核Intel处理器。推荐配置:双路8核Intel处理器。ARM服务器:双路32核ARM处理器Bit-mode64位内存(虚拟机不建议超分)物理...

MySQL 小版本升级

MySQL 小版本升级

MySQL 版本一般不需要经常升级,如果需要使用某个新特性或者修改 BUG 就不得不升级小版本。1. 环境调研1. 当前数据库版本和需要升级到某个版本,如果升级需求 5.6.22+ 那么我们直接下载...

MySQL 8.0 新特性:innodb_dedicated_server

MySQL 8.0 新特性:innodb_dedicated_server

一、前言Innodb Dedicated Server 是 8.0 版本推出的一个参数,开启之后可以根据服务器的配置自适应 innodb 引擎中的一些重要影响性能的参数,默认是关闭的。二、参数测试使用...

HBase数据结构

1 RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行,只有三种方式:1.通过单个RowKey访问2.通过RowKey的range(正则)3.全表...

REPMGR-PG高可用搭建(三)

REPMGR-PG高可用搭建(三)

2.2.2repmgr安装兼容性3节点均安装repmgr1.安装依赖 # yum install flex 2.下载解压 # wget -c https://repmgr.org/downloa...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。