Kafka 手动调整分区副本存储

浩客2年前技术文章657

       

       在生产环境中,每台服务器的配置和性能不一致,但是Kafka只会根据自己的代码规则创建对应的分区副本,就会导致个别服务器存储压力较大。所有需要手动调整分区副本的存储。


测试:创建一个新的topic,3个分区,2个副本,名称为test-topic01。将 该topic的所有副本都存储到broker0和broker1两台服务器上。

1111111111.png

手动调整分区副本存储的步骤如下:

(1)创建一个新的 topic

kafka-topics.sh --zookeeper master:2181 --create --partitions 3 --replication-factor 2 --topic test-topic01

(2)查看分区副本存储情况。

kafka-topics.sh --zookeeper master:2181 --describe --topic test-topic01

22222222.png

(3)创建副本存储计划(所有副本都指定存储在 broker0、broker1 中)。

#在kafka安装路径下
vim increase-replication-factor.json

{
"version":1,
"partitions":[{"topic":"test-topic01","partition":0,"replicas":[0,1]},
{"topic":"test-topic01","partition":1,"replicas":[0,1]},
{"topic":"test-topic01","partition":2,"replicas":[1,0]}]
}

(4)执行副本存储计划。

kafka-reassign-partitions.sh --zookeeper master:2181 --reassignment-json-file increase-replication-factor.json --execute

(5)验证副本存储计划。

kafka-reassign-partitions.sh --zookeeper master:2181 --reassignment-json-file increase-replication-factor.json --verify

3333333333333.png

(6)查看分区副本存储情况。

kafka-topics.sh --zookeeper master:2181 --describe --topic test-topic01

4444444444444.png


相关文章

RabbitMQ 集群部署

RabbitMQ 集群部署

1. 两种模式说到集群,小伙伴们可能第一个问题是,如果我有一个 RabbitMQ 集群,那么是不是我的消息集群中的每一个实例都保存一份呢?这其实就涉及到 RabbitMQ 集群的两种模式:1)普通集群...

Prometheus监控Minio集群

Prometheus监控Minio集群

一、概述Minio支持集成prometheus,用以监控CPU、硬盘、网络等数据。二、修改docker-compose.yaml官方的给docker-compose.yaml,默认是不能访问metri...

系统RDSCPU打满问题分析报告

系统RDSCPU打满问题分析报告

1. 问题概述在2023年9月01日09点13分,玳数运维组侧接收到业务侧反馈系统响应缓慢,与此同时运维群内新系统RDS 发出CPU打满的告警,告警通知如下: 2. 问题分析a. 数据库会话管理核查玳...

EMR-flinksql运行失败问题

EMR-flinksql运行失败问题

运行flinksqlsql-client.sh报错:[root@emr1 bin]# ./sql-client.shSLF4J: Class path contains multiple SLF4J...

静默安装oracle软件参数文件解析

文件位置在oracle软件解压目录下的database/response/db_install.rsp,主要参数解析如下########################################...

Kubernetes源码解读(二)--DeltaFIFO源码分析

Kubernetes源码解读(二)--DeltaFIFO源码分析

1、Queue接口与DeltaFIFO的实现1.1、Queue和Store接口接口和结构体先相关代码类似 workqueue 里的队列概念,这里也有一个队列,Queue 接口定义在 client-go...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。