Kafka 手动调整分区副本存储

浩客2年前技术文章773

       

       在生产环境中,每台服务器的配置和性能不一致,但是Kafka只会根据自己的代码规则创建对应的分区副本,就会导致个别服务器存储压力较大。所有需要手动调整分区副本的存储。


测试:创建一个新的topic,3个分区,2个副本,名称为test-topic01。将 该topic的所有副本都存储到broker0和broker1两台服务器上。

1111111111.png

手动调整分区副本存储的步骤如下:

(1)创建一个新的 topic

kafka-topics.sh --zookeeper master:2181 --create --partitions 3 --replication-factor 2 --topic test-topic01

(2)查看分区副本存储情况。

kafka-topics.sh --zookeeper master:2181 --describe --topic test-topic01

22222222.png

(3)创建副本存储计划(所有副本都指定存储在 broker0、broker1 中)。

#在kafka安装路径下
vim increase-replication-factor.json

{
"version":1,
"partitions":[{"topic":"test-topic01","partition":0,"replicas":[0,1]},
{"topic":"test-topic01","partition":1,"replicas":[0,1]},
{"topic":"test-topic01","partition":2,"replicas":[1,0]}]
}

(4)执行副本存储计划。

kafka-reassign-partitions.sh --zookeeper master:2181 --reassignment-json-file increase-replication-factor.json --execute

(5)验证副本存储计划。

kafka-reassign-partitions.sh --zookeeper master:2181 --reassignment-json-file increase-replication-factor.json --verify

3333333333333.png

(6)查看分区副本存储情况。

kafka-topics.sh --zookeeper master:2181 --describe --topic test-topic01

4444444444444.png


相关文章

python-日志分析

1、概述生产中会生成大量的系统日志、应用程序日志、安全日志等等日志,通过对日志的分析可以了解服务器的负载、健康状况,可以分析客户的分布情况、客户的行为,甚至基于这些分析可以做出预测。一般采集流程:日志...

spark指标性能分析

spark指标性能分析

1)      Spark的性能指标   任务启动后可以在yarn的原生页面看到对应的任务信息,点击ApplicationMast...

ranger对接hbase 处理class not found

ranger对接hbase 处理class not found

hbase 2.1版本在配置ranger插件,重启hbase时,hmaster无法正常启动,日志显示meta region is in state OPENING此时查看regionserver 中日...

Kafka性能维度标准

如何判断一个kafka集群是否已经处于性能瓶颈,通常的判断条件有如下几点:维度1:磁盘IO读写磁盘性能是kafka重要的参数指标,如果磁盘IO到达性能瓶颈会直接导致业务故障。Kafka读写性能跟磁盘I...

at和corntab 计划任务

一、什么是计划任务每个人在生活当中或多或少都有一些工作,有的工作是按照一定周期循环的, 例如每天固定时间的闹铃、工作打卡等等; 有的工作则是临时发生的,例如刚好有亲友到访,需要你在一个特定的时间去车站...

Phoenix SQLLine快速使用

Phoenix SQLLine快速使用

1、启动在Phoenix主目录下bin文件夹中,执行以下命令:bin/sqlline.py master其中master为Zookeeper中的节点,如果有多个节点,中间使用逗号分开。执行该命令后,客...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。