rabbitmq-迁移方案

小丫2年前技术文章2233

rabbitmq共有两种迁移方案:

迁移方式

优点

缺点

可用性

原理

文件导入方式

数据100%成功

业务要修改地址

暂停提供服务

可以使用

拷贝元数据方式

添加集群方式



不可用,数据会丢失(添加机器之前会清空之前所有的信息)


Shovel 方式

数据100%成功

业务要修改连接地址

可以使用

类似于转发功能,client--单机群--多集群,单集群没有数据,都落在多集群上,配置好策略就可以

1 文件导入方式

2 服务器加入集群方式

7.1 文件导入方式

   7.1.1先从需要被迁移的机器上导出需要的文件,最下面可以选择划分的虚拟机

image.png

  7.1.2选择导入的服务页面,选择备份文件,选择虚拟主机,虚拟机主机事先要创建好

image.png

  7.1.3 出现如下页面说明已成功

image.png


  7.1.4 设置镜像策略
  
  image.png

  7.1.5  验证数据是否为镜像集群模式
   我们可以看到队列一个主节点,两个镜像节点,说明数据会有三份

image.png

7.2 加入集群方式

7.2.1 需要先暂停单机服务器,备份/var/lib/rabbitmq/.erlang.cookie 文件。

7.2.2 从node1 机器上拷贝  .erlang.cookie 文件 到单机机器的/var/lib/rabbitmq/ 目录下

7.2.3 单机机器执行如下命令

     rabbitmqctl stop_app
     rabbitmqctl join_cluster rabbit@node1
     rabbitmqctl start_app

7.2.4 查看是否加入

   没有加入之前

image.png


  加入之后

image.png

 查看队列是否存在,这种方式数据是不存在的

image.png


7.3 Shovel 方式 

7.3.1 在需要迁移的机器上分别安装shovel 插件

rabbitmq-plugins enable rabbitmq_shovel

rabbitmq-plugins enable rabbitmq_shovel_management
我需要从单机机器迁移到集群服务器
首先登陆到单机机器web页面会看到已安装插件

image.png

7.3.2 配置shovel 迁移任务

image.png

7.3.3 新增成功页面

image.png

检查状态

image.png

注:shovel是针对queue(队列)来操作的,有多少个队列要迁移数据,就要创建多少个对应的shovel。

7.3.4 验证

hovel创建好后,如果检查状态正常的话,它会自动进行迁移数据。现在我们来检查旧集群shovel_demo_queue队列的数据是否移到到新集群中。

在新集群中通过以下界面查看,而且数据都是镜像模式

image.png


在旧集群中通过以下界面查看

image.png

相关文章

Flink sql 集成hive metastore对接s3存储

1、hive metastore使用s3如何适配1、在flink conf目录中添加core-site.xml和hive-site.xml<?xml version="1.0" encoding...

理解YAML文件

YAML 基础它的基本语法规则如下:大小写敏感使用缩进表示层级关系缩进时不允许使用Tab键,只允许使用空格。缩进的空格数目不重要,只要相同层级的元素左侧对齐即可# 表示注释,从这个字符一直到行尾,都会...

Prometheus结合VictoriaMetrics:更高效、稳定的多集群监控方案

在Prometheus的架构中,其核心组件包括Prometheus Server、Exporters、Alertmanager等,它采用基于拉的模型收集指标数据,并存储在本地TSDB中,支持通过Pro...

CDH实操--hive高可用

CDH实操--hive高可用

前言在CDH中,hive metastore、hiveserver2若角色单实例部署,或者部署多个实例但是连接配置任选其一的话,均存在单点问题,一旦实例故障就会影响业务稳定;这时我们就好考虑高可用部署...

Rancher+dashboard安装部署

Rancher+dashboard安装部署

一、简介1、什么rancherRancher是一个开源软件平台,使组织能够在生产中运行和管理Docker和Kubernetes。使用Rancher,组织不再需要使用一套独特的开源技术从头开始构建容器服...

开源大数据集群部署(十二)Ranger 集成 hive

开源大数据集群部署(十二)Ranger 集成 hive

1、解压安装在hd1.dtstack.com主机上执行(一般选择hiveserver2节点)Ø 解压ranger-2.3.0-hive-plugin.tar.gz[root@hd1.dtstack.c...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。