Kafka数据恢复

楼高2年前技术文章822

一、增量恢复

增量恢复需要使用 MirrorMaker 来实现,下面是 MirrorMaker 的用法示例:

# 创建MirrorMaker 配置文件

cat > /tmp/mirror-maker.properties <<EOF

consumer.bootstrap.servers=backup-host:9092

producer.bootstrap.servers=localhost:9092

EOF# 运行MirrorMaker

kafka-run-class.sh kafka.tools.MirrorMaker \--consumer.config 

\ /tmp/mirror-maker.properties 

\--producer.config /tmp/mirror-maker.properties \--whitelist $RESTORE_TOPIC

上述代码中创建一个 MirrorMaker 配置文件将备份端的数据同步到目标端 $RESTORE_TOPIC 

主题中

注意:增量恢复会将备份端数据的变化同步到目标端,因此恢复时必须先将备份端数据同步完整

二、全量恢复

# 指定恢复的主题

RESTORE_TOPIC=test# 指定备份文件路径

BACKUP_FILE=/tmp/backup/$RESTORE_TOPIC.txt# 恢复主题数据

kafka-console-producer.sh \--broker-list localhost:9092 \--topic 

$RESTORE_TOPIC \--new-producer \< $BACKUP_FILE

将$BACKUP_FILE 文件中的数据恢复到 $RESTORE_TOPIC 主题中

注意:该脚本也是同步操作,恢复时间较长时建议使用异步操作

返回列表

上一篇:Kafka数据备份

下一篇:Kafka监控

相关文章

PG的analyze与vacuum

analyze-统计信息用于收集表的统计信息,只会对表加读锁,不影响表上其它SQL并发执行,对于大表只会读取表中部分数据 vacuum-碎片回收标记旧版本行的信息为可用,以重复使用这部分空间 更新统计...

CDP实操--集群配置Auto-TLS

CDP实操--集群配置Auto-TLS

1.1手动创建CA证书# mkdir -p /tls/ca # ls /tls # cd /tls/ca # openssl genrsa -out ca.key 2048 # cat ca....

Kubernetes 调度策略

1、资源调度创建一个新的 Pod 资源对象时,该 Pod 应该运行在哪个工作节点,由 Scheduler 调度器进行调度。Scheduler 是一个守护进程,其内部有很多调度算法。Pod 调度流程:当...

DRDS SQL闪回介绍

DRDS SQL闪回介绍

1、SQL闪回注意事项1、SQL闪回依赖RDS BINLOG保存时间,需要注意开启binlog备份。2、SQL闪回生成的恢复文件默认保存7天,闪回sql后需要尽快执行。3、SQL闪回精确匹配需要满足如...

Oracle上云找云掣

背景介绍:随着公有云技术成熟、稳定,越来被大中企业接受。自建IDC机房大成本投入终被云的高效方便稳定所替代。企业基于0racle核心的业务系统势必上云,企业面临0racle如何上云,上云后如何保障数据...

kafka性能关键参数配置指导

本文为kafka调优过程中主要参数以及参数相关释意,在遇到kafak性能问题时可优先调整一下参数1.Broker参数指导KAFKA_HEAP_OPTS:-Xmx6G   ...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。