Clickhouse MergeTree原理（二）—— 表和分区的维护

俊达2年前 (2022-12-12)技术文章979

MergeTree是Clickhouse中最核心的存储引擎。上一篇文章中，我们介绍了MergeTree的基本结构。

1、MergeTree由分区（partiton）和part组成。

2、Part是MergeTree可操作的基本数据单元。

Insert数据时，会生成新的part
可以脱机和挂载分区和part
可以对分区进行备份、恢复
可以移动分区（将part从一个实例中脱机、在另一个实例中挂载）
将分区从一个表挂载到另外一个表。

本文将介绍clickhouse MergeTree表的基本运维操作。包括：

detach / attach
freeze
optimize

detach和attach

clickhouse中detach相关的命令有：

detach table / attach table
alter table detach partition / alter table attach partition
alter table detach part / alter table attach part

其中detach table和attach table对整个表生效。

detach patition / attach partiton 和 detach part / attach part分别对表的分区和part进行操作。

detach table

detach table后，无法从该表查询数据：

ck01 :) select count(*) from metrics;

SELECT count(*)
FROM metrics

Query id: eb5f8146-3dfc-4fd5-a25f-e7b2d69a377f

┌─count()─┐
│       3 │
└─────────┘

1 row in set. Elapsed: 0.002 sec.

ck01 :)
ck01 :)
ck01 :) detach table metrics;

DETACH TABLE metrics

Query id: 39b42e6f-fb70-402f-81a4-248b8f677a9a

Ok.

0 rows in set. Elapsed: 0.001 sec.


## detach后，无法查询数据
ck01 :) select count(*) from metrics;

SELECT count(*)
FROM metrics

Query id: 245b8032-b41a-442c-a265-150d7555ae99


0 rows in set. Elapsed: 0.001 sec.

Received exception from server (version 22.6.3):
Code: 60. DB::Exception: Received from localhost:9000. DB::Exception: Table local.metrics doesn't exist. (UNKNOWN_TABLE)

detach table后，数据文件还在原先的路径

detach table并不会删除数据文件和metadata文件。通过attach table命令可以恢复表

root@ck01:/data/clickhouse/clickhouse/data/local/metrics# ls -l
total 12
drwxr-x--- 2 root root 4096 Dec  6 03:07 20221129_8_8_2
drwxr-x--- 5 root root 4096 Dec  6 03:07 detached
-rw-r----- 1 root root    1 Nov 29 05:43 format_version.txt

可以通过attach table命令恢复表

ck01 :) attach table metrics;
ATTACH TABLE metrics

Query id: b7d80ed1-4588-4884-903b-999523c7bff6

Ok.

0 rows in set. Elapsed: 0.002 sec.

ck01 :) select count(*) from metrics;

SELECT count(*)
FROM metrics

Query id: 929c04dd-0474-47cd-a3d5-ea02eba0e910

┌─count()─┐
│       3 │
└─────────┘

1 row in set. Elapsed: 0.002 sec.

clickhouse重启时，会自动attach table

如果detach table时没有指定PERMANENTLY，则重启clickhouse时，会自动attach table。

DETACH TABLE table [PERMANENTLY]

alter table detach/attach partition

detach partition将某个分区脱机，分区脱机后，分区内的所有part都会被移动到detach目录下。可以通过attach parition命令将数据加载回来。

detach partition

测试数据

ck01 :) select partition, name, active,rows from system.parts where table='metrics';

SELECT
    partition,
    name,
    active,
    rows
FROM system.parts
WHERE table = 'metrics'

Query id: 8c35e7ef-af1c-4248-bfae-3c02de5b6b78

┌─partition─┬─name─────────────┬─active─┬─rows─┐
│ 20221129  │ 20221129_12_12_0 │      1 │    1 │
│ 20221130  │ 20221130_13_13_0 │      1 │    2 │
│ 20221130  │ 20221130_14_14_0 │      1 │    1 │
│ 20221130  │ 20221130_15_15_0 │      1 │    1 │
└───────────┴──────────────────┴────────┴──────┘

使用detach partiton命令将20221130分区detach:

ck01 :) alter table metrics detach partition 20221130;

ALTER TABLE metrics
    DETACH PARTITION 20221130

Query id: 88999a92-2e2c-4e4a-845d-487101f3af33

Ok.

0 rows in set. Elapsed: 0.002 sec.

ck01 :) select partition, name, active,rows from system.parts where table='metrics';

SELECT
    partition,
    name,
    active,
    rows
FROM system.parts
WHERE table = 'metrics'

Query id: ab66d880-6c7d-4312-99c7-3a00c256882f

┌─partition─┬─name─────────────┬─active─┬─rows─┐
│ 20221129  │ 20221129_12_12_0 │      1 │    1 │
└───────────┴──────────────────┴────────┴──────┘

对应的part被移动到了detached目录：

root@ck01:/data/clickhouse/clickhouse/data/local/metrics# ls -l detached/
total 12
drwxr-x--- 2 root root 4096 Dec  6 05:39 20221130_13_13_0
drwxr-x--- 2 root root 4096 Dec  6 05:39 20221130_14_14_0
drwxr-x--- 2 root root 4096 Dec  6 05:39 20221130_15_15_0

attach partition

使用attach partition命令将20221130分区attach回来。可以观察到part的名称发生了变化。

ck01 :) alter table metrics attach partition 20221130;

ALTER TABLE metrics
    ATTACH PARTITION 20221130

Query id: 24a4784f-653c-4874-8dea-60cb4981abe0

Ok.

0 rows in set. Elapsed: 0.002 sec.

ck01 :) select partition, name, active,rows from system.parts where table='metrics';

SELECT
    partition,
    name,
    active,
    rows
FROM system.parts
WHERE table = 'metrics'

Query id: d64868c0-513f-4e36-be57-65abe3cf6065

┌─partition─┬─name─────────────┬─active─┬─rows─┐
│ 20221129  │ 20221129_12_12_0 │      1 │    1 │
│ 20221130  │ 20221130_16_16_0 │      1 │    1 │
│ 20221130  │ 20221130_17_17_0 │      1 │    1 │
│ 20221130  │ 20221130_18_18_0 │      1 │    2 │
└───────────┴──────────────────┴────────┴──────┘

4 rows in set. Elapsed: 0.002 sec.

alter table detach/attach part

detach part和attach part的操作对象是分区中的某一个具体的part，操作粒度比分区更细。

使用detach part命令detach某一个具体的part：

ck01 :) alter table metrics detach part '20221130_17_17_0';

ALTER TABLE metrics
    DETACH PART '20221130_17_17_0'

Query id: 51fcc860-b8b1-4410-8e89-ffcbd845b085

Ok.

0 rows in set. Elapsed: 0.002 sec.

ck01 :) select partition, name, active,rows from system.parts where table='metrics';

SELECT
    partition,
    name,
    active,
    rows
FROM system.parts
WHERE table = 'metrics'

Query id: cec0db47-2c43-460a-b121-f2d2329b1e62

┌─partition─┬─name─────────────┬─active─┬─rows─┐
│ 20221129  │ 20221129_12_12_0 │      1 │    1 │
│ 20221130  │ 20221130_16_16_0 │      1 │    1 │
│ 20221130  │ 20221130_17_17_0 │      0 │    1 │
│ 20221130  │ 20221130_18_18_0 │      1 │    2 │
└───────────┴──────────────────┴────────┴──────┘

4 rows in set. Elapsed: 0.003 sec.

detach的part被移动到detached目录

root@ck01:/data/clickhouse/clickhouse/data/local/metrics# ls -l detached/
total 4
drwxr-x--- 2 root root 4096 Dec  6 05:52 20221130_17_17_0

使用attach part命令attach某一个part：

ck01 :) alter table metrics attach part '20221130_17_17_0';

ALTER TABLE metrics
    ATTACH PART '20221130_17_17_0'

Query id: a1dfdda0-bc1e-4abe-b14f-aaa7b306a0f4

Ok.

0 rows in set. Elapsed: 0.001 sec.

ck01 :) select partition, name, active,rows from system.parts where table='metrics';

SELECT
    partition,
    name,
    active,
    rows
FROM system.parts
WHERE table = 'metrics'

Query id: 5baad864-3700-4993-9a09-2f52a9477459

┌─partition─┬─name─────────────┬─active─┬─rows─┐
│ 20221129  │ 20221129_12_12_0 │      1 │    1 │
│ 20221130  │ 20221130_16_16_0 │      1 │    1 │
│ 20221130  │ 20221130_18_18_0 │      1 │    2 │
│ 20221130  │ 20221130_19_19_0 │      1 │    1 │
└───────────┴──────────────────┴────────┴──────┘

由于part数据一旦写入之后就不会变化，我们可以使用detach part/attach part命令来移动数据。

freeze和unfreeze

ALTER TABLE table_name [ON CLUSTER cluster] FREEZE [PARTITION partition_expr] [WITH NAME 'backup_name']

使用alter table freeze命令给表创建一个备份。如不不指定分区，则会对整个表的所有分区进行备份。

freeze命令通过创建硬连接的方式备份数据，所以不会占用额外的空间。

ck01 :) alter table metrics freeze with name 'backup20221206';

ALTER TABLE metrics
    FREEZE WITH NAME 'backup20221206'

Query id: 48279b8e-4e2a-41ed-b0e2-f2a8e2db4652

Ok.

0 rows in set. Elapsed: 0.010 sec.

执行freeze命令之后，可以在clickhouse数据目录的shadow目录下看到对应的文件：

root@ck01:/data/clickhouse/clickhouse/shadow# ls -l
total 12
drwxr-x--- 3 root root 4096 Dec  6 06:20 469
drwxr-x--- 3 root root 4096 Dec  6 06:21 backup20221206
-rw-r----- 1 root root    4 Dec  6 06:21 increment.txt

root@ck01:/data/clickhouse/clickhouse/shadow# tree backup20221206
backup20221206
└── store
    └── def
        └── def88518-fd7b-418d-a7dd-6564e38bba39
            ├── 20221129_12_12_0
            │   ├── checksums.txt
            │   ├── columns.txt
            │   ├── count.txt
            │   ├── data.bin
            │   ├── data.mrk3
            │   ├── default_compression_codec.txt
            │   ├── minmax_tt.idx
            │   ├── partition.dat
            │   └── primary.idx
            ├── 20221130_16_16_0
            │   ├── checksums.txt
            │   ├── columns.txt
            │   ├── count.txt
            │   ├── data.bin
            │   ├── data.mrk3
            │   ├── default_compression_codec.txt
            │   ├── minmax_tt.idx
            │   ├── partition.dat
            │   └── primary.idx
......

使用unfreeze命令删除备份

ck01 :) alter table metrics unfreeze with name '469';

ALTER TABLE metrics
    UNFREEZE WITH NAME '469'

Query id: bba89afe-54f7-457b-ab3d-3db76bf3f2f3

Ok.

0 rows in set. Elapsed: 0.001 sec.

由于clickhouse的part文件一旦生成之后就不会修改。可以使用freeze生成的备份文件来恢复数据。

optimize

使用optimize命令发起表的分区合并操作。

ck01 :) select partition, name, active,rows from system.parts where table='metrics';

SELECT
    partition,
    name,
    active,
    rows
FROM system.parts
WHERE table = 'metrics'

Query id: 2917d850-fd9d-4e2c-b02e-9fd129565dc7

┌─partition─┬─name─────────────┬─active─┬─rows─┐
│ 20221129  │ 20221129_12_12_0 │      1 │    1 │
│ 20221130  │ 20221130_16_16_0 │      1 │    1 │
│ 20221130  │ 20221130_18_18_0 │      1 │    2 │
│ 20221130  │ 20221130_19_19_0 │      1 │    1 │
└───────────┴──────────────────┴────────┴──────┘

4 rows in set. Elapsed: 0.002 sec.


ck01 :) optimize table metrics;

OPTIMIZE TABLE metrics

Query id: 4f53e875-21bc-4c00-85b3-88c3ef156b1b

Ok.

0 rows in set. Elapsed: 0.002 sec.

ck01 :) select partition, name, active,rows from system.parts where table='metrics';

SELECT
    partition,
    name,
    active,
    rows
FROM system.parts
WHERE table = 'metrics'

Query id: 3a32a138-26f5-4b43-874b-af2e58d18419

┌─partition─┬─name─────────────┬─active─┬─rows─┐
│ 20221129  │ 20221129_12_12_0 │      1 │    1 │
│ 20221130  │ 20221130_16_16_0 │      0 │    1 │
│ 20221130  │ 20221130_16_19_1 │      1 │    4 │
│ 20221130  │ 20221130_18_18_0 │      0 │    2 │
│ 20221130  │ 20221130_19_19_0 │      0 │    1 │
└───────────┴──────────────────┴────────┴──────┘

5 rows in set. Elapsed: 0.002 sec.

optimize后，创建了新的part 20221130_16_19_1，同时被合并的part active状态设置为0。inactive的part会在一定时间后被自动清理。

返回列表

上一篇：Clickhouse MergeTree 原理（一）

下一篇：kubernetes调度策略

trino容器设置nodeselector（七）

查看node labelkubectl get nodes --show-labels2、在容器中设置nodeselector属性 nodeSelector: dps: "1"查看k8s...

MySQL运维实战（2.3）MySQL的权限体系和一个例子

mysql权限按授权范围分为3大类全局权限。全局权限是用于管理系统模块的权限。跟具体的数据库或对象无关。授权时需要指定为*.*数据库权限对象权限对于具体的数据库对象的权限，如表、字段级别的权限。MyS...

MongoDB的索引(四)

九、Text Indexes示例集合> db.ttlsa_com.find() { "_id" : ObjectId("5d2f35f6c1aace30b3ce9904"), "song" :...

通过Nodeport方式暴露集群

一、原理图二、通过deployment部署双副本nginx，两个Pod[root@172-16-121-211 ~]# cat nginx-delpayment01.yml apiVersion: a...

ES运维（一）底层数据存储原理

1、ES底层数据存储原理架构图Segment工作流程：A、新的文档在内存中组织B、每隔一段时间，buffer将会被提交：生成一个新的segment（一个额外的新的倒序索引）并被写到磁盘，同时一个新...

kafka安全认证与授权

kafka安全认证与授权一、SASL、SSL、ACL介绍1．SASL鉴权协议，主要用来保证客户端登录服务器的时候，传输的鉴权数据的安全性，SASL是对用户名和密码加解密用的 2．SSL是一种间于传输层...

Clickhouse MergeTree原理（二）—— 表和分区的维护

detach和attach

detach table

alter table detach/attach partition

detach partition

测试数据

使用detach partiton命令将20221130分区detach:

对应的part被移动到了detached目录：

attach partition

alter table detach/attach part

使用detach part命令detach某一个具体的part：

使用attach part命令attach某一个part：

freeze和unfreeze

optimize

相关文章

trino容器设置nodeselector（七）

MySQL运维实战（2.3）MySQL的权限体系和一个例子

MongoDB的索引(四)

通过Nodeport方式暴露集群

ES运维（一）底层数据存储原理

kafka安全认证与授权

发表评论

©Copyrights 2016-2022 YUNCHE 浙ICP备2021017017号

Clickhouse MergeTree原理（二）—— 表和分区的维护

detach和attach

detach table

alter table detach/attach partition

detach partition

测试数据

使用detach partiton命令将20221130分区detach:

对应的part被移动到了detached目录：

attach partition

alter table detach/attach part

使用detach part命令detach某一个具体的part：

使用attach part命令attach某一个part：

freeze和unfreeze

optimize

相关文章

trino容器设置nodeselector（七）

MySQL运维实战（2.3）MySQL的权限体系和一个例子

MongoDB的索引(四)

通过Nodeport方式暴露集群

ES运维（一）底层数据存储原理

kafka安全认证与授权

发表评论 取消回复

©Copyrights 2016-2022 YUNCHE 浙ICP备2021017017号var _hmt = _hmt || [];(function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?dcf8139ce75b768b71dccc5e589b983c"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s);})();

发表评论

©Copyrights 2016-2022 YUNCHE 浙ICP备2021017017号