Kafka 手动调整分区副本存储

浩客2年前技术文章828

       

       在生产环境中,每台服务器的配置和性能不一致,但是Kafka只会根据自己的代码规则创建对应的分区副本,就会导致个别服务器存储压力较大。所有需要手动调整分区副本的存储。


测试:创建一个新的topic,3个分区,2个副本,名称为test-topic01。将 该topic的所有副本都存储到broker0和broker1两台服务器上。

1111111111.png

手动调整分区副本存储的步骤如下:

(1)创建一个新的 topic

kafka-topics.sh --zookeeper master:2181 --create --partitions 3 --replication-factor 2 --topic test-topic01

(2)查看分区副本存储情况。

kafka-topics.sh --zookeeper master:2181 --describe --topic test-topic01

22222222.png

(3)创建副本存储计划(所有副本都指定存储在 broker0、broker1 中)。

#在kafka安装路径下
vim increase-replication-factor.json

{
"version":1,
"partitions":[{"topic":"test-topic01","partition":0,"replicas":[0,1]},
{"topic":"test-topic01","partition":1,"replicas":[0,1]},
{"topic":"test-topic01","partition":2,"replicas":[1,0]}]
}

(4)执行副本存储计划。

kafka-reassign-partitions.sh --zookeeper master:2181 --reassignment-json-file increase-replication-factor.json --execute

(5)验证副本存储计划。

kafka-reassign-partitions.sh --zookeeper master:2181 --reassignment-json-file increase-replication-factor.json --verify

3333333333333.png

(6)查看分区副本存储情况。

kafka-topics.sh --zookeeper master:2181 --describe --topic test-topic01

4444444444444.png


相关文章

变更 Rancher Server IP 或域名

变更 Rancher Server IP 或域名

一.背景由于各种原因导致的需要对rancher的Server IP或者域名进行变更(更改访问地址,更改公网IP地址等)二.流程图三.操作前了解相关配置和要求相关官方文档rancher:日常使用的ran...

Ambari部署

Ambari部署

Ambari 官方资料入口:https://www.cloudera.com/products/open-source/apache-hadoop/apache-ambari.htmlAmbari 相...

Flink部署

安装前准备1.1. 添加环境变量vi /etc/profile export FLINK_HOME=/opt/flinkexport PATH=$PATH:$FLINK_HOME/bin source...

CDP实操(7.1.4版本)--RangerAdmin使用负载均衡实现高可用

CDP实操(7.1.4版本)--RangerAdmin使用负载均衡实现高可用

本文主要是通过配置外部负载平衡器,实现 Ranger HA。1、在 Cloudera Manager 中,选择 Ranger,然后选择Actions > Add Role Instances。2...

Yarn调度器对比

1)Hadoop调度器重要分为三类:FIFO 、Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器)。Apache默认的资源调度器是容量调度器;CDH...

docker日志管理

docker日志管理

docker的日志分类 一、Docker 引擎日志(也就是 dockerd 运行时的日志)Ubuntu14.04: /var/log/upstart/docker.logCentos 6/7或ubun...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。