CDH实操--HDFS高可用设置

二龙2年前技术文章723

1 概述

        在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决NameNode单点故障的问题,Hadoop给出了HDFS的高可用HA方案,HDFS集群由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。

        Active NameNode可对外提供服务,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便在Active NameNode失败时快速的进行切换。本篇文章主要讲述如何使用Cloudera Manager启用HDFS的HA。

  • 前置条件

a.拥有Cloudera Manager的管理员账号

b.CDH集群已安装成功并正常使用

2 启动HDFS的HA

2.1 使用管理员用户登录Cloudera Manager的Web管理界面,进入HDFS服务

001.png

2.2 点击“启用High Avaiability”,设置NameService名称

002.png

2.3 点击“继续”,选择NameNode主机及JouralNode主机

003.png

JouralNode主机选择,一般与Zookeeper节点一致即可(至少3个且为奇数)

2.4 点击“继续”,设置NameNode的数据目录和JouralNode的编辑目录

004.png

NameNode的数据目录默认继承已有NameNode数据目录。

2.5 点击“继续”,启用HDFS的High Availability,如果集群已有数据,格式化NameNode会报错,不用理。

005.png

006.png

2.6 点击“继续”,完成HDFS的High Availability 

007.png

2.7 HDFS实例查看

008.png



相关文章

Flink window详解

Flink window详解

一、窗口(window)一般真实的流都是无界的,如果是无界怎样处理无界的数据可以把无限的数据流进行切分,得到有限的数据集进行处理 —— 也 就是得到有界流 窗口(window)就是将无限流切割为有限流...

短信服务开通

短信服务开通

一、添加模版二、添加签名注意开通港澳台签名如果和国内签名冲突,需要修改国内签名 试用场景为通用,三、子账号授权新建RAM用户并创建AK信息提供 签名名称 以及模版CODE即可参考链接: https:/...

MySQL 添加列报错处理

MySQL 添加列报错处理

一、添加列报错(65535)表添加列收到报错,具体 SQL 和报错信息如下:ALTER TABLE table ADD column varchar(256) NULL COMMENT '个人打款授权...

kubernetes RBAC

kubernetes RBAC

认证过程,只是确认通信的双方都确认了对方是可信的,可以相互通信。而鉴权是确定请求方有哪些资源的权限。API Server 目前支持以下几种授权策略 (通过 API Server 的启动参数 “–aut...

Hadoop3.2.4纠删码基础操作(二)

Hadoop3.2.4纠删码基础操作(二)

1、纠删码基础操作纠删码策略是与具体的路径(path)相关联的。也就是说,如果我们要使用纠删码,则要给一个具体的路径设置纠删码策略,后续,所有往此目录下存储的文件,都会执行此策略。1.首先我们在HDF...

MySQL性能优化(八)exists子查询优化一例

MySQL性能优化(八)exists子查询优化一例

一个例子SELECT u.id userId,       u.mobile,  &nbs...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。