从腾讯云到阿里云，ES集群跨云迁移技术原理及最佳实践

云掣YunChe2周前55
图片

首先将腾讯云的ES集群全量快照备份至腾讯云COS中，待全量快照备份完成后，再使用阿里云的在线迁移服务功能，将腾讯云COS中的快照数据在线迁移至阿里云OSS。快照数据迁移完毕后，登录阿里云ES集群进行快照恢复操作即可，当所有的索引健康状态变为green，就表明快照恢复任务完成。
增量快照的备份恢复流程与全量快照的备份流程一致，区别仅在于，增量快照的备份恢复流程进行到最后一步快照恢复操作时，需要提前将阿里云ES集群中的索引状态修改为close，待快照数据全部恢复完成后，索引的健康状态会默认变为green。


 建设内容

Step1：环境准备


预先在阿里云购买可1:1安装的集群，即资源规格、集群插件与当前腾讯云ES集群一致的阿里云6.7.0版本ES集群，然后提前将腾讯云中全量的ES集群数据通过快照迁移的方式迁移到阿里云ES集群中。


Step2：代码验证


客户公司的研发人员对迁移后的集群数据进行灰度测试，包括客户端连接、写入、读取等功能的代码测试。


Step3：割接前的流程梳理确认

  1. 确定写入的链路，并读取业务方负责人信息；
  2. 准备好防止数据丢失和保障数据一致的预案；
  3. 明确回滚方案。

Step4：割接前的数据迁移

  1. 关闭阿里云ES集群的白名单，禁止研发测试的数据写入，保障集群环境单一可靠；
  2. 清空阿里云ES集群的脏数据、数据验证、历史快照的恢复和同步记录；
  3. 进行增量快照的恢复和同步，并保持验证，直至割接前；
  4. 如果第2步和第4步有重合的部分，为了防止数据污染，需要在阿里云ES集群中再进行一次历史数据清空和增全量恢复的动作。

Step5：割接开始

  1. 研发人员提前将配置文件的地址修改为阿里云ES集群连接内网的地址，并设置业务不上线生效；
  2. 关闭腾讯云ES集群的业务数据写入；
  3. 最后一次进行增量数据快照和恢复动作，将数据补齐；
  4. 开启阿里云ES集群的白名单；
  5. 设置切换配置生效，并进行上线动作，完成读写业务后，再切换到阿里云ES集群；
  6. 进行读写验证；
  7. 关闭腾讯云ES集群的白名单;

  8. 测试工程师进行回归测试。

Step6：回滚

  1. 将阿里云ES集群的白名单关闭，停止写入数据；
  2. 恢复腾讯云ES集群的白名单，并将配置文件的地址改回腾讯云ES集群生效；
  3. 回滚方案生效，业务数据（kafka、mysql）重新消费写入腾讯云ES集群。



 知识拓展

 快照备份


ES集群基于快照的迁移方式
需通过 snapshot api 接口进行迁移，基本原理是从源ES集群创建索引快照，然后在目标ES集群中进行快照恢复。通过snapshot api方式进行数据迁移时，特别需要注意ES集群的版本，目标ES集群的主版本号要大于等于源ES集群的主版本号。
例如：6.x中的6为主版本号，那么此集群所创建的快照就不能在7.x版本的集群中恢复。
快照迁移支持索引数据的增量备份和恢复迁移
由于二次快照是在前一次快照的索引数据基础之上，再增加新数据的快照，包括了索引数据的增、删、改等新变动。那么在二次快照之后，新的ES集群实例恢复后，新数据与源ES集群实例数据将保持一致。
二次快照备份恢复的时长
由于二次快照的数据量低于首次快照，所以耗时会比首次快照备份的时间短。


 logstash迁移同步


logstash的版本
应与目标ES集群的主版本号相同。例如：目标ES集群为6.8.2版本，则logstash也需要使用6.8版本。
索引type的问题
不同版本的ES集群对索引type的约束也不同，所以在跨大版本迁移ES集群时，可能会出现因为索引type而导致目标集群写入失败等情况。这是因为logstash的增量数据同步基于时间字段，所以要求字段类型为@timetamp时，才能按照时间同步数据。若时间字段为long、text等非标准的类型，则无法按照时间同步数据。
硬件和网络配置要求
logstash对网络带宽和服务器CPU、内存、磁盘的要求较高，如果想实时同步大量数据，就必须提升硬件和网络配置。


 总结


此次迁云方案效率高，实现了业务停机时间的最小化，迅速响应了客户公司的需求，并确保了迁移前后数据的一致性。


本文旨在通过一次腾讯云ES集群在线迁移至阿里云ES集群的成功客户案例，结合云掣在多次客户数据迁移过程中总结出的宝贵经验，与大家详细地分享快照迁移ES集群的技术原理和最佳实践，有助于满足各行业领域客户跨...

高效便捷！解锁阿里云跨账号专线互联的全新实施方案

云掣YunChe2周前67
高效便捷！解锁阿里云跨账号专线互联的全新实施方案
...

案例分享｜某医院数据上云性能优化

云掣YunChe2周前62
案例分享｜某医院数据上云性能优化
...

Oracle上云找云掣

云掣YunChe2周前74
...

企业Oracle RAC上云闲谈

云掣YunChe3周前74
图片

随着计算机技术和互联网的不断推进，云计算平台也更加趋于稳定、安全，其显著的性能、方便的资源管理、快捷的应用部署方式越来越为...

CK集群迁云实施方案

云掣YunChe3周前52
...

MSP服务为客户交出满意答卷

云掣YunChe3周前69
MSP服务为客户交出满意答卷
...

MySQL 8.0 新特性深度解析，成为数据库高手的必备！

云掣YunChe3周前84
MySQL 8.0 新特性深度解析，成为数据库高手的必备！
...

InnoDB秘籍：MVCC机制与行锁的深度探索

云掣YunChe3周前99
InnoDB秘籍：MVCC机制与行锁的深度探索
...

如何将现有 MySQL 数据库平滑升级至 8.0 版本？

云掣YunChe4周前73
如何将现有 MySQL 数据库平滑升级至 8.0 版本？
...

数据库性能大揭秘：玩转MySQL监控指标状态变量

云掣YunChe4周前93
...

MySQL 函数触发隐式转换应对策略

文若7个月前546
...
首页️ 上一页 1 2 3 4 5 6 7 8 9 10 下一页 尾页

©Copyrights 2016-2022 YUNCHE 浙ICP备2021017017号