CDH实操--HDFS高可用设置

二龙2年前技术文章1132

1 概述

        在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决NameNode单点故障的问题,Hadoop给出了HDFS的高可用HA方案,HDFS集群由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。

        Active NameNode可对外提供服务,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便在Active NameNode失败时快速的进行切换。本篇文章主要讲述如何使用Cloudera Manager启用HDFS的HA。

  • 前置条件

a.拥有Cloudera Manager的管理员账号

b.CDH集群已安装成功并正常使用

2 启动HDFS的HA

2.1 使用管理员用户登录Cloudera Manager的Web管理界面,进入HDFS服务

001.png

2.2 点击“启用High Avaiability”,设置NameService名称

002.png

2.3 点击“继续”,选择NameNode主机及JouralNode主机

003.png

JouralNode主机选择,一般与Zookeeper节点一致即可(至少3个且为奇数)

2.4 点击“继续”,设置NameNode的数据目录和JouralNode的编辑目录

004.png

NameNode的数据目录默认继承已有NameNode数据目录。

2.5 点击“继续”,启用HDFS的High Availability,如果集群已有数据,格式化NameNode会报错,不用理。

005.png

006.png

2.6 点击“继续”,完成HDFS的High Availability 

007.png

2.7 HDFS实例查看

008.png



相关文章

haproxy服务无法正常启动

haproxy服务无法正常启动

【局点信息】测试环境【集群信息】【问题现象】haproxy设置配置文件后,无法正常启动,查看服务状态显示失败配置增加内容#增加如下配置 listen ApiApplicationServer   ...

Hbase2.x 使用hbck2

Hbase2.x 使用hbck2

1、背景默认情况下apache hbase 使用hbck2时,无法使用-j 来加载hbck2的jar包,无法进行修复2、解决办法是由于默认情况下只使用自带的hbase hbck修复命令,大部分功能在2...

Kafka数据备份

一、数据备份Kafka的数据备份包括两种类型:全量备份和增量备份全量备份是将整个 Kafka 的数据复制到一个不同的地方增量备份是在全量备份后仅仅备份增量的数据二、全量备份# 指定备份的主题BACKU...

Containerd OCI runtime create failed

Containerd OCI runtime create failed

1、背景Kubernetes 集群新增 worker 节点(centos7、containerd),发现容器一直启动不起来。2、报错信息经查看系统 message 日志发现如下报错信息:rpc err...

EMR-flinksql运行失败问题

EMR-flinksql运行失败问题

运行flinksqlsql-client.sh报错:[root@emr1 bin]# ./sql-client.shSLF4J: Class path contains multiple SLF4J...

PG的执行计划

一、Explain基本使用1.1 命令解释explain [ ( option [,...] ) ] statement explain [ analyze ] [ verbose ] statem...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。