CDH实操--HDFS高可用设置

二龙3年前技术文章1409

1 概述

        在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决NameNode单点故障的问题,Hadoop给出了HDFS的高可用HA方案,HDFS集群由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。

        Active NameNode可对外提供服务,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便在Active NameNode失败时快速的进行切换。本篇文章主要讲述如何使用Cloudera Manager启用HDFS的HA。

  • 前置条件

a.拥有Cloudera Manager的管理员账号

b.CDH集群已安装成功并正常使用

2 启动HDFS的HA

2.1 使用管理员用户登录Cloudera Manager的Web管理界面,进入HDFS服务

001.png

2.2 点击“启用High Avaiability”,设置NameService名称

002.png

2.3 点击“继续”,选择NameNode主机及JouralNode主机

003.png

JouralNode主机选择,一般与Zookeeper节点一致即可(至少3个且为奇数)

2.4 点击“继续”,设置NameNode的数据目录和JouralNode的编辑目录

004.png

NameNode的数据目录默认继承已有NameNode数据目录。

2.5 点击“继续”,启用HDFS的High Availability,如果集群已有数据,格式化NameNode会报错,不用理。

005.png

006.png

2.6 点击“继续”,完成HDFS的High Availability 

007.png

2.7 HDFS实例查看

008.png



相关文章

CDH实操--客户端安装

CDH实操--客户端安装

CDH客户端安装概述安装CDH客户端,主要是方便在CDH部署节点以外,通过客户端的方式连接CDH上的hdfs,hive和hbase服务1、安装jdk(适配CDH即可,一般1.8)2、获取安装包 3、部...

oracle跟踪会话级别的10046事件

1.开启10046跟踪事件alter session set events '10046 trace name context forever, level 12';2.执行要跟踪的sql语句sele...

磁盘扩容

磁盘扩容

磁盘扩容 一、linux系统1、需求由于系统盘/数据盘打满,需要扩容至100G,首先在控制台后台进行磁盘扩容。注:只能扩容磁盘的最后一个分区2、查看扩容后的磁盘空间fdisk -l3、查看磁盘分区ls...

hadoop集群集成Iceberg操作指导

hadoop集群集成Iceberg操作指导

hadoop集群集成Iceberg操作指导书一、    准备工作1.       大数据集群运行正常,完成hi...

PG的analyze与vacuum

analyze-统计信息用于收集表的统计信息,只会对表加读锁,不影响表上其它SQL并发执行,对于大表只会读取表中部分数据 vacuum-碎片回收标记旧版本行的信息为可用,以重复使用这部分空间 更新统计...

Nginx-Ingress和traefik区别

Nginx-Ingress和traefik区别

Nginx-Ingress和traefik区别1. Ingress Controllerk8s 是通过一个又一个的 controller 来负责监控、维护集群状态。Ingress Controller...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。