CDH 5.16.2原地升级到CDP7.1.7

耀灵2年前技术文章1190

1 升级Cloudera管理器

1.1 升级Cloudera管理器准备

1.1.1.1 关闭cloudera上托管的组件

1.jpg
































2.jpg

1.1.1.2 关闭Cloudera management service服务

3.jpg


检查os版本

4.png

5.png


之后,停止 cm 代理和服务器,配置升级 cm 存储库并进行升级。

//停止cloudera manager server
# systemctl stop cloudera-scm-server
 
//停止cloudera manager代理
# systemctl stop cloudera-scm-agent


6.png


7.png


//清除旧版本的supervisor,通过ps命令找到supervisor的pid

# ps -ef |grep cloudera

//清理supervisor
# kill -9 <old_supervisor_pid>


8.png












//清理yum的cache

# sudo yum clean all

9.png


//删除cloudera manager server和agent

# sudo yum remove -y cloudera-manager-server cloudera-manager-daemons cloudera-manager-agent

10.png

11.png


//解压cm7.4.4本地安装包

# cd /home/training/Downloads
# tar xvzf cm7.4.4-redhat7.tar.gz

12.png


//安装cm7.4.4

# sudo yum localinstall -y cloudera-manager-server-7* cloudera-manager-daemons* cloudera-manager-agent*


13.png


//设置cm server的db连接配置

# cd /etc/cloudera-scm-server
# sudo cp db.properties.rpmsave db.properties


15.png

16.png

17.png


点击“Start Cloudera Management Service”启动cm管理服务,等待命令结束


18.png

19.png

20.png21.png


解决升级后service monitor实例报错问题:


22.png

##如下sql命令更改列METRIC_ID的数据类型为BIGINT
alter table CMON_METRIC_INFO  modify `METRIC_ID` BIGINT NOT NULL;
如下图所示,更改后Activity Monitor可以正常启动

23.png

24.png


根据提示更新陈旧的配置

25.png

26.png


在cm控制台的parcel页面,找到CDP Runtime 7.1.7 Parcel点击“Download”下载parcel,该过程耗时较长

27.png


28.png


跨集群节点分发下载的包裹

29.png


分发后,升级按钮出现

30.png


2 升级集群

2.1 升级Cloudera管理器准备


该步骤主要用于备份Cloudera Manager Server,Cloudera Management服务以及集群Hadoop服务的RDBMS数据库,可以参考附录中“第3步:备份集群”以及“第4步:备份 Cloudera Manager”,升级实践中为了聚焦于升级重要步骤,学员可以选择跳过这一步并继续下一步。

备份cm Server命令

sudo su
mkdir -p /root/backup
cd /root/backup
 
export CM_BACKUP_DIR="`date +%F`-CM"
echo $CM_BACKUP_DIR
mkdir -p $CM_BACKUP_DIR
 
tar cvzf $CM_BACKUP_DIR/cloudera-scm-server.tar.gz /etc/cloudera-scm-server /etc/default/cloudera-scm-server
tar cvzf $CM_BACKUP_DIR/repository.tar.gz /etc/yum.repos.d


31.png32.png

备份cm agent命令

tar cvzf $CM_BACKUP_DIR/cloudera-scm-agent.tar.gz --exclude=*.sock /etc/cloudera-scm-agent/ 
/etc/default/cloudera-scm-agent /var/run/cloudera-scm-agent/ /var/lib/cloudera-scm-agent/

33.png

mkdir -p /root/backup/databases
cd /root/backup/databases
 
mysqldump -u root -ptraining amon > amon_db_backup.sql
mysqldump -u root -ptraining scm > scm_db_backup.sql
mysqldump -u root -ptraining metastore > metastore_db_backup.sql
mysqldump -u root -ptraining rman > rman_db_backup.sql
mysqldump -u root -ptraining oozie > oozie_db_backup.sql
mysqldump -u root -ptraining hue > hue_db_backup.sql


34.png


##需要注意的是事,备份前需停止组件服务


Zookeeper备份

cp -rp /var/lib/zookeeper/ /root/backup/zookeeper-backup-`date +%F`CM-CDH


Namenode备份


//备份元数据
mkdir -p /root/backup/nn-CM-CDH
cp -rp /dfs/nn /root/backup/nn-CM-CDH
 
//备份namenode配置数据
mkdir -p /root/backup/conf.rollback.namenode
cd /var/run/cloudera-scm-agent/process/ && cd `ls -t1 | grep -e "-NAMENODE\$" | head -1`
cp -rp * /root/backup/conf.rollback.namenode/
rm -rf /root/backup/conf.rollback.namenode/log4j.properties
cp -rp /etc/hadoop/conf.cloudera.hdfs/log4j.properties /root/backup/conf.rollback.namenode/

35.png



Secondary Namenode 备份


mkdir -p /root/backup/conf.rollback.secondarynamenode
cd /var/run/cloudera-scm-agent/process/ && cd `ls -t1 | grep -e "-SECONDARYNAMENODE\$" | head -1`
cp -rp * /root/backup/conf.rollback.secondarynamenode/
rm -rf /root/backup/conf.rollback.secondarynamenode/log4j.properties
cp -rp /etc/hadoop/conf.cloudera.hdfs/log4j.properties /root/backup/conf.rollback.secondarynamenode/


36.png

Datanode 备份

mkdir -p /root/backup/conf.rollback.datanode
cd /var/run/cloudera-scm-agent/process/ && cd `ls -t1 | grep -e "-DATANODE\$" | head -1`
cp -rp * /root/backup/conf.rollback.datanode/
rm -rf /root/backup/conf.rollback. datanode/log4j.properties
cp -rp /etc/hadoop/conf.cloudera.hdfs/log4j.properties /root/backup/conf.rollback.datanode/


37.png

Hue备份

mkdir -p /root/backup/parcels_backup
cp -rp /opt/cloudera/parcels/CDH/lib/hue/app.reg /root/backup/parcels_backup/app.reg-CM-CDH

38.png


CM 管理服务备份

mkdir -p /root/backup/cm_mgt/cloudera-service-monitor-`date +%F`-CM
sudo cp -rp /var/lib/cloudera-service-monitor /root/backup/cm_mgt/cloudera-service-monitor-`date +%F`-CM
mkdir -p /root/backup/cm_mgt/cloudera-host-monitor-`date +%F`-CM
sudo cp -rp /var/lib/cloudera-host-monitor /root/backup/cm_mgt/cloudera-host-monitor-`date +%F`-CM
mkdir -p /root/backup/cm_mgt/cloudera-scm-eventserver-`date +%F`-CM
sudo cp -rp /var/lib/cloudera-scm-eventserver /root/backup/cm_mgt/cloudera-scm-eventserver-`date +%F`-CM


39.png


2.2 进入维护模式


您可以启用维护模式以避免在升级过程中出现不必要的警报。

为避免在升级过程中出现不必要的警报,请在开始升级之前在集群上进入维护模式。进入维护模式会停止发送电子邮件警报和 SNMP 陷阱,但不会停止检查和配置验证。完成升级以重新启用 Cloudera Manager 警报后,请务必退出维护模式。更多信息

主页 > 状态选项卡上,单击集群名称旁边的操作菜单,然后选择进入维护模式(Enter Maintenance Mode)。

40.png41.png42.png

2.3 运行升级集群向导


2.3.1登陆到Cloudera Manager 管理控制台

43.png44.png

2.3.2 点击“Add Yarn Queue Manager Service”,以下向导将引导您将公平调度器转换为容量调度器

45.png46.png47.png48.png49.png50.png51.png52.png53.png1. 其他任务部分列出了在继续之前要注意的其他任务或提醒。选择选项以确认您理解,然后再继续。


54.png55.png56.png57.png58.png

注意:

由公平调度升级到容量调度,生成容量调度配置文件中的调度配置参数要对应成现场的,否则后面升级会报错,以下命令标红的关键字

root@localhost:/home/training/Downloads$ /opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1000.24102687/bin/yarn fs2cs 
--cluster-resource memory-mb=1048576,vcores=8 --no-terminal-rule-check -y yarn-site.xml -f fair-scheduler.xml -o /root/output

59.png60.png61.png62.png63.png64.png65.png

集群退出维护模式:

66.png67.png

#使用hdfs dfsadmin -report命令查看报under replica


68.png

解决办法

sudo -u hdfs hdfs dfs -setrep -w 1 /user/


69.png

升级完成组件状态正常:

70.png

组件版本:

71.png



相关文章

Hive架构图及Hive SQL的执行流程

Hive架构图及Hive SQL的执行流程

1、Hive产生背景MapReduce编程的不便性HDFS上的文件缺少Schema(表名,名称,ID等,为数据库对象的集合)2、Hive是什么Hive的使用场景是什么?基于Hadoop做一些数据清洗啊...

HBase数据结构

1 RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行,只有三种方式:1.通过单个RowKey访问2.通过RowKey的range(正则)3.全表...

Ansible部署和使用(sshpass)

Ansible部署和使用(sshpass)

简介Ansible默认通过 SSH 协议管理机器。安装Ansible之后,不需要启动或运行一个后台进程,或是添加一个数据库。只要在一台电脑(可以是一台笔记本)上安装好,就可以通过这台电脑管理一组远程的...

 oracle11g打补丁31718723报错Operation not permitted

oracle11g打补丁31718723报错Operation not permitted

oracle11g 在打gi补丁的时候报错如下:原因:参考mos(Doc ID 2668094.1)可知因为Linux/Unix平台上,安装后一些Oracle可执行文件的权限需要修改成root。这是以...

oradebug收集事件10046

oradebug 查看10046这是SQL*Plus的工具,需要提供OSPID或者Oracle PID。--1、跟踪当前会话--设置追踪会话oradebug setmypid; --设置trace大小...

MySQL 同步方式

同步方式一、分类同步大致为异步、半同步、增强版同步、全同步;二、详情1.异步复制MySQL 默认的复制策略,Master处理事务过程中,将其写入Binlog就会通知Dump thread线程处理,然后...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。