CDH实操--CDH5.8.2升级(一)

耀灵2年前技术文章655


1、摘要和概述

本次升级是从cdh5.8.2升级至cdh6.2.1,由于cm对cdh的兼容性,需要先升级cm,从5.8.2升级至至6.2.1。

2、升级CM

2.1 CM安装文件

1.png

2.2 CDH安装文件

2.png

2.3 修改本地源

# cat /etc/yum.repos.d/cm.repo # 修改内容如下(关闭旧版本源,添加新版本源)

[root@cdh01 yum.repos.d]# cat cm.repo 
#[cmrepo]
#name = cm_repo
#baseurl = http://172.16.106.151/cm5.8.2
#enable = true
#gpgcheck = false
[cm621]
name=Cloudera Manager 621
baseurl=http://172.16.106.151/cm6.2.1/
gpgcheck=1
enabled=1
gpgkey=http://172.16.106.151/cm6.2.1/RPM-GPG-KEY-cloudera
[root@cdh01 yum.repos.d]#

检查所有节点的yum文件是否一致

3.png

2.4 升级辅助脚本

[root@cdh01 mnt]# cat cm_backup.sh 
#!/bin/bash
export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin"
export CM_BACKUP_DIR=/data/cm_backup_"`date +%F`-cm5.8.2"
mkdir -p $CM_BACKUP_DIR
test -f $CM_BACKUP_DIR/cloudera-scm-agent.tar || tar -cf $CM_BACKUP_DIR/cloudera-scm-agent.tar --exclude=*.sock /etc/cloudera-scm-agent /etc/default/cloudera-scm-agent /var/run/cloudera-scm-agent /var/lib/cloudera-scm-agent
[root@cdh01 mnt]#

2.5 备份CM

2.5.1 将cm备份脚本同步至集群所有节点并执行

4.png

5.png

2.5.2 停止CM(Cloudera Manager Server)和CMS(Cloudera Management Service)

6.png

7.png

停止CMS

8.png


服务器端停止后台服务:

[root@cdh01 mnt]# systemctl stop cloudera-scm-server
[root@cdh01 mnt]# xcall.sh "systemctl stop cloudera-scm-agent"
============= cdh01 systemctl stop cloudera-scm-agent =============
============= cdh02 systemctl stop cloudera-scm-agent =============
============= cdh03 systemctl stop cloudera-scm-agent =============
[root@cdh01 mnt]#

确认agent后台关闭:

9.png

2.5.3 备份CM数据库

[root@cdh01 mnt]# mysqldump --databases scm --port=3306 -uroot -p123456 --events -l -F -e -R > scm_$(date +%F).sql
mysqldump: [Warning] Using a password on the command line interface can be insecure.
[root@cdh01 mnt]#

10.png

2.5.4 备份CM服务端相关配置文件

[root@cdh01 mnt]# export CM_BACKUP_DIR=/data/cm_backup_"`date +%F`-cm5.8.2"
[root@cdh01 mnt]# echo $CM_BACKUP_DIR
/data/cm_backup_2022-05-26-cm5.8.2
[root@cdh01 mnt]# tar -cf $CM_BACKUP_DIR/cloudera-scm-server.tar /etc/cloudera-scm-server /etc/default/cloudera-scm-server

查看备份文件:

11.png



相关文章

PG的analyze与vacuum

analyze-统计信息用于收集表的统计信息,只会对表加读锁,不影响表上其它SQL并发执行,对于大表只会读取表中部分数据 vacuum-碎片回收标记旧版本行的信息为可用,以重复使用这部分空间 更新统计...

TCP短连接和长连接

TCP短连接和长连接

     当网络通信时采用TCP协议时,在真正的读写操作之前,server与client之间必须建立一个连接,当读写操作完成后,双方不再需要这个连接时它们可以释放这个连接,连接的建立是需要三次握手的,...

Kubernetes 网络插件

Kubernetes 自身并不提供网络解决方案,允许托管使用第三方的网络解决方案。flannelcalicocanelkube-router......各种 CNI 插件的解决方案: 虚拟网桥(bri...

迁移Cloudera Manager节点

迁移Cloudera Manager节点

1.概述1.CDH环境已搭建并正常运行2.旧Cloudera Manager节点包含Cloudera Manager Server(即cloudera-scm-server)服务和Cloudera M...

Hive 重新编译-解决Tez JobName的问题

Hive 重新编译-解决Tez JobName的问题

本文采用linux编译首先下载源码https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-src.tar.gz源码位置ql/src/jav...

网络抓包实战

网络抓包实战

1、为什么要学习抓包?主要是因为碰到网络相关问题,如果不进行抓包的话,可能会很难进行定位解决,抓包可以看做是另类的日志信息收集。对于解决网络问题至关重要。2、抓包普通环境tcpdump -- a po...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。