MySQL 8.0 新特性:Instant Add Column

文若2年前技术文章2387


一、前言

MySQL 8.0 支持 “快速加列” 功能,既添加字段时可以支持 “INSTANT” 快速完成。通过只修改数据字典的方法来实现大表快速加列,避免之前加列操作必须做的数据拷贝,从而大幅缩小大表加列所需的时间,减少对系统的影响。

支持版本:

MySQL 版本  8.0.12 及以上

腾讯云内核版本 MySQL 5.7 20190830 及以上

腾讯云内核版本 MySQL 8.0 20200630 及以上

二、测试

1. 准备数据
root@mysql 14:12:  [sbtest]>select count(*) from sbtest2;
+----------+
| count(*) |
+----------+
|   200000 |
+----------+
1 row in set (0.04 sec)
2. 添加字段

使用 INSTANT 算法给 20 万行数据表添加字段:

root@mysql 14:17:  [sbtest]>ALTER TABLE sbtest2 ADD COLUMN d  varchar(10) DEFAULT 'abc',ALGORITHM=INSTANT;
Query OK, 0 rows affected (0.10 sec)
Records: 0  Duplicates: 0  Warnings: 0

使用 INPLACE 算法给 20 万行数据表添加字段:

root@mysql 14:19:  [sbtest]>ALTER TABLE sbtest2 ADD COLUMN e varchar(10) DEFAULT 'abc',ALGORITHM=INPLACE;
Query OK, 0 rows affected (6.04 sec)
Records: 0  Duplicates: 0  Warnings: 0

对比看 快速加列 的优化效果很明显,几乎是毫秒级就可以完成。

2. 验证
root@mysql 14:18:  [sbtest]>select id,d  from sbtest2 limit 10;
+----+------+
| id | d    |
+----+------+
|  1 | abc  |
|  2 | abc  |
|  3 | abc  |
|  4 | abc  |
|  5 | abc  |
|  6 | abc  |
|  7 | abc  |
|  8 | abc  |
|  9 | abc  |
| 10 | abc  |
+----+------+
10 rows in set (0.00 sec)

三、工作原理

1. 快速加列

在没有 快速加列的功能时,每次添加字段都需要重建表空间,就需要大量的 IO 及时间。

当使用 快速加列时,只会修改数据字典,增加 新列的定义新列的默认值。需要读取数据时 MySQL 会将 新增列的默认值,追加到读取的数据后。

需要写入数据时,使用了新的数据格式 (增加了 instant 标志位 和 "列数" 字段)。

相当于是 伪造列,那么是否可以一直伪造下去呢?

2. 限制
  1. 添加列的操作不能与其它 ALTER TABLE 操作放在同一条语句组合中。

  2. 在 MySQL 8.0.29 之前,一列只能作为表的最后一列添加,不支持将列添加到其他列中的任何其他位置。从 MySQL 8.0.29 开始,可以将即时添加的列添加到表中的任何位置。

  3. ROW_FORMAT=COMPRESSED、具有 FULLTEXT 的表、临时表不支持 Instant Add Column。

  4. 添加列会评估行的大小,如果超出限制会抛出异常:ERROR 4092 (HY000): Column can't be added with ALGORITHM=INSTANT as after this max possible row size crosses max permissible row size. Try ALGORITHM=INPLACE/COPY.

3. 表维护

现在回答刚才的问题,是否可以一直伪造下去?

当使用 Instant 添加一个列或多个列时,都会创建一个新的行版本,当超出限制时会抛出异常。

可以通过查询 INFORMATION_SCHEMA.INNODB_TABLES来查询行版本:

-- Version: 8.0.29
SELECT NAME, TOTAL_ROW_VERSIONS FROM INFORMATION_SCHEMA.INNODB_TABLES;

TOTAL_ROW_VERSIONS 大于 64 会报错:ERROR 4080 (HY000): Maximum row versions reached for table test/t1. No more columns can be added or dropped instantly. Please use COPY/INPLACE.使用 ALTER TABLE 重建表空间时 TOTAL_ROW_VERSIONS 会归 0。

相关文章

压测实操--kafka broker压测方案

压测实操--kafka broker压测方案

环境信息:操作系统centos7.9,kafka版本为hdp集群中的2.0版本。kafka broker参数num.replica.fetchers:副本抓取的相应参数,如果发生ISR频繁进出的情况或...

linux时间同步工具Chrony的配置和使用

linux时间同步工具Chrony的配置和使用

一、chrony简介       chronony是网络时间协议(NTP)的通用实现。它可以同步系统时钟与NTP服务器,chronyd包含两个程序,chronyd是一个守护进程,chronyc是一个命...

Kubernetes源码解读(五)--Reflector源码分析

Reflector 的任务就是向 apiserver watch 特定类型的资源,拿到变更通知后将其丢到 DeltaFIFO 队列中。1、Reflector的启动过程Reflector定义在k8s.i...

Clickhouse冷热数据分离实践

配置多卷存储策略使用Clickhouse的存储策略功能,可以实现冷热数据分离存储。我们可以将业务上访问频繁的数据放到热存储区(如高性能SSD磁盘),将业务上较少访问的数据放在冷存储区(如价格更便宜、空...

kafka日志数据清理策略

kafka日志数据清理策略

1.关于Kafka的日志在Kafka中,日志分为两种:1、数据日志是指Kafka的topic中存储的数据,这种日志的路径是$KAFKA_HOME/config/server.properties文件中...

远程DEBUG HADOOP源码方法

远程DEBUG HADOOP源码方法

1. 安装IDEA2. 下载hadoop源码,必须与集群服务代码版本一致,否则会导致有的类无法找到3. 将源码导入IDEA工程并完成build4. 点击 菜单栏--运行--编辑配置 进行相关debug...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。