CDH实操--CDH5.8.2升级(一)

耀灵2年前技术文章799


1、摘要和概述

本次升级是从cdh5.8.2升级至cdh6.2.1,由于cm对cdh的兼容性,需要先升级cm,从5.8.2升级至至6.2.1。

2、升级CM

2.1 CM安装文件

1.png

2.2 CDH安装文件

2.png

2.3 修改本地源

# cat /etc/yum.repos.d/cm.repo # 修改内容如下(关闭旧版本源,添加新版本源)

[root@cdh01 yum.repos.d]# cat cm.repo 
#[cmrepo]
#name = cm_repo
#baseurl = http://172.16.106.151/cm5.8.2
#enable = true
#gpgcheck = false
[cm621]
name=Cloudera Manager 621
baseurl=http://172.16.106.151/cm6.2.1/
gpgcheck=1
enabled=1
gpgkey=http://172.16.106.151/cm6.2.1/RPM-GPG-KEY-cloudera
[root@cdh01 yum.repos.d]#

检查所有节点的yum文件是否一致

3.png

2.4 升级辅助脚本

[root@cdh01 mnt]# cat cm_backup.sh 
#!/bin/bash
export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin"
export CM_BACKUP_DIR=/data/cm_backup_"`date +%F`-cm5.8.2"
mkdir -p $CM_BACKUP_DIR
test -f $CM_BACKUP_DIR/cloudera-scm-agent.tar || tar -cf $CM_BACKUP_DIR/cloudera-scm-agent.tar --exclude=*.sock /etc/cloudera-scm-agent /etc/default/cloudera-scm-agent /var/run/cloudera-scm-agent /var/lib/cloudera-scm-agent
[root@cdh01 mnt]#

2.5 备份CM

2.5.1 将cm备份脚本同步至集群所有节点并执行

4.png

5.png

2.5.2 停止CM(Cloudera Manager Server)和CMS(Cloudera Management Service)

6.png

7.png

停止CMS

8.png


服务器端停止后台服务:

[root@cdh01 mnt]# systemctl stop cloudera-scm-server
[root@cdh01 mnt]# xcall.sh "systemctl stop cloudera-scm-agent"
============= cdh01 systemctl stop cloudera-scm-agent =============
============= cdh02 systemctl stop cloudera-scm-agent =============
============= cdh03 systemctl stop cloudera-scm-agent =============
[root@cdh01 mnt]#

确认agent后台关闭:

9.png

2.5.3 备份CM数据库

[root@cdh01 mnt]# mysqldump --databases scm --port=3306 -uroot -p123456 --events -l -F -e -R > scm_$(date +%F).sql
mysqldump: [Warning] Using a password on the command line interface can be insecure.
[root@cdh01 mnt]#

10.png

2.5.4 备份CM服务端相关配置文件

[root@cdh01 mnt]# export CM_BACKUP_DIR=/data/cm_backup_"`date +%F`-cm5.8.2"
[root@cdh01 mnt]# echo $CM_BACKUP_DIR
/data/cm_backup_2022-05-26-cm5.8.2
[root@cdh01 mnt]# tar -cf $CM_BACKUP_DIR/cloudera-scm-server.tar /etc/cloudera-scm-server /etc/default/cloudera-scm-server

查看备份文件:

11.png



相关文章

ES运维(五)聚合分析流程及精准度

ES运维(五)聚合分析流程及精准度

1、 概述ES是一个近实时的搜索引擎,提供近实时海量数据的聚合分析功能,但这个海量数据聚合分析是会损失一定的精准度来满足实时性能需要的。 2、 分布式系统的近似统计算法如下图,在分布式数据分...

A集群导入B集群中的高可用版rancher,一直处于pending状态

A集群导入B集群中的高可用版rancher,一直处于pending状态

问题现象:已知在B集群中采用helm方式部署了一个高可用版本的rancher,该rancher中已经配置导入了三套集群,并且三套集群状态在rancher控制台处均显示正常,日常可借助该rancher管...

副本集同步原理

一、Initial Sync大体来说,MongoDB副本集同步主要包含两个步骤:1. Initial Sync,全量同步2. Replication,即sync oplog先通过init sync同步...

.gitlab-ci.yml 语法

.gitlab-ci.yml 语法

介绍管道配置从作业(job)开始, 作业是 .gitlab-ci.yml 文件的最基本元素。job是:定义了约束,指出应在什么条件下执行具有任意名称的顶级元素,并且必须至少包含 script 子句不限...

开源大数据集群部署(一)集群实施规划

1、集群规划1.1 本次集群规划信息本次实际生产业务体量存在巨大差异,但集群规划内容相同,因此建议实际生产环境按照按照一定比例扩展即可。主机操作系统要求软硬件信息参数配置8C16G操作系统版本Cent...

MySQL基本配置文件

MySQL基本配置文件

# 5.7  # mkdir /data/mysql57/{data,logs,run} -pv [client] port ...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。