Kafka数据恢复

楼高2年前技术文章1011

一、增量恢复

增量恢复需要使用 MirrorMaker 来实现,下面是 MirrorMaker 的用法示例:

# 创建MirrorMaker 配置文件

cat > /tmp/mirror-maker.properties <<EOF

consumer.bootstrap.servers=backup-host:9092

producer.bootstrap.servers=localhost:9092

EOF# 运行MirrorMaker

kafka-run-class.sh kafka.tools.MirrorMaker \--consumer.config 

\ /tmp/mirror-maker.properties 

\--producer.config /tmp/mirror-maker.properties \--whitelist $RESTORE_TOPIC

上述代码中创建一个 MirrorMaker 配置文件将备份端的数据同步到目标端 $RESTORE_TOPIC 

主题中

注意:增量恢复会将备份端数据的变化同步到目标端,因此恢复时必须先将备份端数据同步完整

二、全量恢复

# 指定恢复的主题

RESTORE_TOPIC=test# 指定备份文件路径

BACKUP_FILE=/tmp/backup/$RESTORE_TOPIC.txt# 恢复主题数据

kafka-console-producer.sh \--broker-list localhost:9092 \--topic 

$RESTORE_TOPIC \--new-producer \< $BACKUP_FILE

将$BACKUP_FILE 文件中的数据恢复到 $RESTORE_TOPIC 主题中

注意:该脚本也是同步操作,恢复时间较长时建议使用异步操作

返回列表

上一篇:Kafka数据备份

下一篇:Kafka监控

相关文章

InnoDB秘籍:MVCC机制与行锁的深度探索(1)

InnoDB秘籍:MVCC机制与行锁的深度探索(1)

前言事务的起源可以追溯到 6000 年以前,当时苏美尔人(Sumerians)就发明了事务处理和记录的方法。已知最早的记录是写在土块上的,上面写了皇家的税收、土地、谷物、牲畜、奴隶和黄金,明确地记下了...

开源大数据集群部署(十二)Ranger 集成 hive

开源大数据集群部署(十二)Ranger 集成 hive

1、解压安装在hd1.dtstack.com主机上执行(一般选择hiveserver2节点)Ø 解压ranger-2.3.0-hive-plugin.tar.gz[root@hd1.dtstack.c...

将Nexus作为容器镜像仓库的配置过程

将Nexus作为容器镜像仓库的配置过程

Docker,Helm和Kubernetes的简化容器管理Nexus Repository建立在广泛的企业存储功能之上,是适用于所有Docker镜像和Helm Chart存储库的强大的注册表。Nexu...

Alluxio部署

安装前准备1.1. 添加环境变量vi /etc/profile export ALLUXIO_HOME=/opt/alluxioexport PATH=$PATH:$ALLUXIO_HOME/bin ...

MySQL运维实战之元数据和数据字典

什么是元数据假设我们执行一个简单的SQL:select * from tab where col = 'value'...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。