使用clickhouse-backup迁移数据

俊达3年前技术文章1697

说明

上一篇文章中,我们介绍了clickhouse-backup工具。除了备份恢复,我们也可以使用该工具来迁移数据。


这篇文章中,我们提供一个使用clickhouse-backup做集群迁移的方案。

前置条件

1、源端和目标端网络联通,主机之间开启ssh免密登录

2、Clickhouse配置保持一致。

  • 集群名称一致

  • 节点配置参数保持一致

  • clickhouse版本一致

3、迁移后库表结构和源端保持一致


CK集群架构


clickhouse-cluster.png

1、源和目标集群的shard数量一样,shard对shard迁移。各个shard可并行进行备份恢复操作。

2、备份在源端每一个shard的第一个replica上执行。

3、表结构需要在目标shard的每一个节点上恢复。

4、数据只需要在目标shard的第一个节点上恢复。


操作步骤

全量

1、源端全量备份

clickhouse-backup --config config.yml create full_back_shard_i


2、将备份文件同步到目标服务器

同步到目标shard第一个节点

rsync -av /data/clickhouse/data/backup/full_back_shard_i root@remote:/data/clickhouse/data/backup


同步到目标shard其他节点

其他节点只需要同步metadata,不需要同步shadow目录下的数据文件。

rsync --exlude shadow -av /data/clickhouse/data/backup/full_back_shard_i root@remote:/data/clickhouse/data/backup


3、目标服务器恢复数据

3.1、目标shard所有节点执行

加上--schema参数,建立表结构。

clickhouse-backup --config config.yml restore --rm --schema full_back_shard_i

3.2、目标shard第一个节点执行

加上--data参数,加载数据。集群中的其他副本会从该节点同步数据。

clickhouse-backup --config config.yml restore --rm --data full_back_shard_i


增量

1、源端备份数据

指定create_remote,将增量数据上传到sftp

clickhouse-backup --config config.yml create_remote --diff-from=full_back_shard_i inc_backup_1



2、目标端恢复数据



通过restore_remote恢复数据

2.1 目标shard所有节点执行

(如果表结构没有变化,这一个步骤可以忽略)

clickhouse-backup --config config.yml restore_remote --rm --schema inc_backup_1
clickhouse-backup --config config.yml delete local inc_backup_1


2.2、目标shard第一个节点执行

增量恢复时也需要添加--rm参数,删除历史数据再做恢复。

clickhouse-backup --config config.yml restore_remote --rm --data inc_backup_1


关于rm选项

如果不加--rm,表中又有数据,默认情况下会忽略该表的恢复。从日志中可以看到类似信息:

2022/11/14 07:09:55.879763  warn local_15507.oracle_sql_stat2 skipped cause system.replicas entry already exists and replication in progress from another replica logger=clickhouse


如果恢复时不想先清空原有的数据(比如恢复某一个分区的数据),需要在config.yml中配置参数。

# config.yml
check_replicas_before_attach: false

# restore without rm option
clickhouse-backup --config config.yml restore --data partition_backup_i


这种情况下,如果restore命令执行多次,会导致数据重复。


基于分区的增量迁移

前置条件

若满足以下条件,可以使用基于分区的增量迁移

1、全量数据已经恢复到目标shard

2、表结构没有发生变化

3、明确只存在部分分区存在数据变化


若选定的分区数据量相对所有数据占比不高,基于分区的增量迁移能提高迁移效率。

具体步骤如下:

1、源端备份分区数据

在源端shard第一个replica执行

clickhouse-backup --config config.yml create --partitions=xxx partition_backup_i


2、将备份文件rsync到目标shard第一个节点

rsync -av /data/clickhouse/data/backup/partition_backup_i root@remote:/data/clickhouse/data/backup


3、目标shard清空对应分区的数据

在目标分区第一个replica执行

for tab in tabs
do
    clickhouse-client --password=xx --database=xx --query="alter table $tab drop partition 'partion-xx'";
done


4、恢复数据

在目标shard的第一个replica上执行

clickhouse-backup --config config.yml restore --partitions=xxx --data partition_backup_i


加上--data参数

不能加--rm参数

注意config.yml需要配置check_replicas_before_attach: false。

#config.yml
clickhouse:
  username: default
  password: "hello123"
  host: localhost
  port: 9000
  ...
  check_replicas_before_attach: false


恢复命令不能重复执行。若要执行,需要先清空partition内已有的数据。


相关文章

聊一聊DevOps工具

聊一聊DevOps工具

DevOps工具越来越多,了解它们以及知道在什么时候使用他们越来越重要。因此,尝试做一些研究,以便我们可以将DevOps产品分类为大家都熟悉的类别或用途。在开始讨论DevOps工具和类别之前,让我们了...

crs启动报错CRS-4124 CRS-4000

现象:crs启动报错CRS-4124 CRS-4000 CRS-0715# crsctl start crsCRS-4124: Oracle High Availability Services st...

Linux解锁线程基本概念和线程控制,步入多线程学习的大门(2)

Linux解锁线程基本概念和线程控制,步入多线程学习的大门(2)

2.4.线程等待:为什么需要线程等待?已经退出的线程,其空间没有被释放,仍然在进程的地址空间内。不然也会造成内存泄露问题!创建新的线程不会复用刚才退出线程的地址空间。主线程退出 == 进程退出 ==...

MySQL运维实战(4.3) SQL_MODE之ONLY_FULL_GROUP_BY

设置ONLY_FULL_GROUP_BY后,对有group by子句SQL,select的字段要么是group by中的字段,要么对字段进行聚合运算,否则sql执行报错。不设置ONLY_FULL_GR...

GET和POST请求的区别

GET和POST请求的区别GET请求GET /books/?sex=man&name=Professional HTTP/1.1 Host: www.wrox.com User-Agent...

DDoS木马攻击处理

DDoS木马攻击处理

问题描述云安全中心提示安全告警如下:恶意脚本代码执行DDoS木马问题解决安全组方向封禁查看次访问地址205.185.119.110 地址为国外一地址,去下载恶意脚本,因此在服务器出入安全组方向做了封禁...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。