Kafka数据恢复

楼高2年前技术文章843

一、增量恢复

增量恢复需要使用 MirrorMaker 来实现,下面是 MirrorMaker 的用法示例:

# 创建MirrorMaker 配置文件

cat > /tmp/mirror-maker.properties <<EOF

consumer.bootstrap.servers=backup-host:9092

producer.bootstrap.servers=localhost:9092

EOF# 运行MirrorMaker

kafka-run-class.sh kafka.tools.MirrorMaker \--consumer.config 

\ /tmp/mirror-maker.properties 

\--producer.config /tmp/mirror-maker.properties \--whitelist $RESTORE_TOPIC

上述代码中创建一个 MirrorMaker 配置文件将备份端的数据同步到目标端 $RESTORE_TOPIC 

主题中

注意:增量恢复会将备份端数据的变化同步到目标端,因此恢复时必须先将备份端数据同步完整

二、全量恢复

# 指定恢复的主题

RESTORE_TOPIC=test# 指定备份文件路径

BACKUP_FILE=/tmp/backup/$RESTORE_TOPIC.txt# 恢复主题数据

kafka-console-producer.sh \--broker-list localhost:9092 \--topic 

$RESTORE_TOPIC \--new-producer \< $BACKUP_FILE

将$BACKUP_FILE 文件中的数据恢复到 $RESTORE_TOPIC 主题中

注意:该脚本也是同步操作,恢复时间较长时建议使用异步操作

返回列表

上一篇:Kafka数据备份

下一篇:Kafka监控

相关文章

kubernetes RBAC

kubernetes RBAC

认证过程,只是确认通信的双方都确认了对方是可信的,可以相互通信。而鉴权是确定请求方有哪些资源的权限。API Server 目前支持以下几种授权策略 (通过 API Server 的启动参数 “–aut...

OSS bucket权限设置

OSS bucket权限设置

问题描述调用oss的bucket资源,开始的时候可以访问,过几分钟再访问的时候,就提示拒绝访问问题原因是因为相应的bucket权限为私有,私有权限在访问文件对象时,是存在鉴权URL,存在时间有效性,所...

证书不识别问题处理

证书不识别问题处理

生成证书时客户端进入显示不识别在172.16.121.210生成一个证书后,使用keytool -importkeystore命令将其他节点172.16.121.114的条目进行合并,问题并没有解决,...

压测实操--TestDFSIO压测hdfs读写方案

压测实操--TestDFSIO压测hdfs读写方案

TestDFSIO主要是对hdfs的I/O性能进行测试,通过使用MapReduce作业来完成测试,作为并行读写文件进行I/O性能测试。每个map任务用于读或写每个文件,map的输出用于收集与处理文件相...

containerd搭建keepalived + haproxy

containerd搭建keepalived + haproxy

环境说明ip地址角色172.16.0.100vip172.16.0.11master1,lb1172.16.0.12master2,lb2172.16.0.13master3,lb3keepalive...

MySQL Group Replication(一)部署篇

MySQL Group Replication(一)部署篇

MGR 简介Group Replication 是 MySQL 在 2016 年 12 月以 GA 的形式发布,以插件的形式绑定在 MySQL 服务器上。传统的 MySQL 复制功能是异步复制,而 M...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。