阿里云ES跨账号数据迁移(reindex)

小丫2年前技术文章1263

1、背景与前置条件

总的来说,阿里云es集群间数据迁移,有三中方式,logstash、reindex、镜像备份恢复,分别使用不同的场景,本文档主要讨论reindex方式进行账号下,ES跨集群迁移时,使用reindex方式数据迁移。需满足:

A、 ES集群为同账号且是同一可用区

B、 ES集群间满足网络互通(配置实例网络互通)

C、 目标端配置自定义远程索引白名单(需重启)

2、配置实例网络互通

2.1、配置实例网络互通前置条件

为了安全性,阿里云ES实例间的网络默认是隔离的,若需要使用跨集群搜索功能,则需要将两个实例的网络进行打通。打通条件:

A、 相同版本。

B、 归属于相同账号。

C、 部署在同一个专有网络VPC(Virtual Private Cloud)中。

D、 同为单可用区实例,或同为多可用区实例。

2.2、操作步骤

A、 登录阿里云es控制台

B、 在顶部菜单栏处,选择地域。

C、 单击目标实例ID/名称链接。

D、 在左侧导航栏,单击安全配置。

E、 单击配置实例网络互通右侧的修改。

F、 在修改配置页面,单击+添加实例。

G、 在添加实例对话框中,选择需要进行网络互通的远程阿里云ES实例的ID。

image.png

3、配置自定义远程索引白名单

3.1、操作步骤

A、 登录阿里云es控制台

B、 在顶部菜单栏处,选择地域。

C、 单击目标实例ID/名称链接。

D、 在左侧导航栏,单击ES集群配置。

E、 在右测点击修改配置,输入所源集群地址:端口,并重启es集群

image.png

4、reindex数据同步操作

4.1、操作步骤

以下操作表示从源ES集群中查询名为test1的索引,查询条件为title字段为elasticsearch,将结果写入当前集群的test2索引

POST _reindex

{

"size": 5000,

"source": {

"remote": {

"host": "源端地址:9200",

"username": "源端用于名",

"password": "源端密码"

},

"index": "源端索引名",

"size": 100

},

"dest": {

"index": "目标端索引名"

}

}

备注:

A、目标端和源端索引名不需要一致,指定就好

B、目标端需要创建索引(mapping不需要创建),或者在目标集群开启自动创建索引参数(需重启)

C、第一个"size": 5000是控制整体迁移的数据量

D、第二个"size": 100是控制迁移批次(即每次迁移数据量)

4.2、迁移完成后验证

源端和目标端分别执行下面命令,对比文档数量

GET _cat/indices/index_name?v


相关文章

Jenkinsfile说明

Jenkinsfile说明

当我们在使用jenkins进行CI/CD的时候,简单的内容我们可以通过jenkins页面来实现配置。但是如果有复杂的需求还是需要通过jenkinsfile来实现jenkinsfile简单介绍Jenki...

Linux解锁线程基本概念和线程控制,步入多线程学习的大门(2)

Linux解锁线程基本概念和线程控制,步入多线程学习的大门(2)

2.4.线程等待:为什么需要线程等待?已经退出的线程,其空间没有被释放,仍然在进程的地址空间内。不然也会造成内存泄露问题!创建新的线程不会复用刚才退出线程的地址空间。主线程退出 == 进程退出 ==...

DBeaver连接Trino

DBeaver连接Trino

1、背景trino 开启https,需要通过dbeaver进行连接DBeaver版本:21.2.02、解决办法下载安装dbeaver打开选择选择trino填写主机如果trino开启https,则可以使...

Hbase Rowkey设计方法

良好的 rowkey 设计,应当遵循以上四大原则,并且能让数据分散,从而避免热点问题。下面是几种常用的 rowkey 设计方法。1 Salt 加盐这里说的 Salt 加盐方法,是给每一个 rowkey...

Hbase部署

安装前准备1.1. 设置环境变量所有hbase节点都要做vi /etc/profile export HBASE_HOME=/opt/hbaseexport PATH=$PATH:$HBASE_HOM...

SQL隐式转换导致索引失效_字符集不一致

3.字符集不一致导致索引失效示例 SQL 如下,通过查看执行计划发现 XXX 和 XXXX 表在进行表关联的时候没有走索引,导致 SQL 扫描数量较大。核实表结构发现表关联对应列都存在索引,最终查看字...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。