CDH实操--HDFS高可用设置

二龙1年前技术文章429

1 概述

        在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决NameNode单点故障的问题,Hadoop给出了HDFS的高可用HA方案,HDFS集群由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。

        Active NameNode可对外提供服务,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便在Active NameNode失败时快速的进行切换。本篇文章主要讲述如何使用Cloudera Manager启用HDFS的HA。

  • 前置条件

a.拥有Cloudera Manager的管理员账号

b.CDH集群已安装成功并正常使用

2 启动HDFS的HA

2.1 使用管理员用户登录Cloudera Manager的Web管理界面,进入HDFS服务

001.png

2.2 点击“启用High Avaiability”,设置NameService名称

002.png

2.3 点击“继续”,选择NameNode主机及JouralNode主机

003.png

JouralNode主机选择,一般与Zookeeper节点一致即可(至少3个且为奇数)

2.4 点击“继续”,设置NameNode的数据目录和JouralNode的编辑目录

004.png

NameNode的数据目录默认继承已有NameNode数据目录。

2.5 点击“继续”,启用HDFS的High Availability,如果集群已有数据,格式化NameNode会报错,不用理。

005.png

006.png

2.6 点击“继续”,完成HDFS的High Availability 

007.png

2.7 HDFS实例查看

008.png



相关文章

离线安装Kerberos

首先下载kerberos客户端所需rpm包在网站https://pkgs.org/搜索以下3个rpm包:https://pkgs.org/libkadm5krb5-libskrb5-workstati...

MySQL运维实战(3.1) MySQL官方客户端使用介绍

mysql是mysql安装包默认的客户端。位于二进制安装包的bin目录。或者通过rpm安装包安装mysql-community-client。使用mysql程序linux终端下,输入mysql命令登陆...

Kafka 手动调整分区副本存储

Kafka 手动调整分区副本存储

              在生产环境中,每台服务器的配置和性能不一致,但是Kafka只会根据自己的代码规则创建对应的分区副本,就会导致个别服务器存储压力较大。所有需要手动调整分区副本的存储。测试:创...

CPU及磁盘性能监测

CPU及磁盘性能监测

一、简述sysstat 包含了常用的 Linux 性能工具,用来监控和分析系统的性能。本次内容会用到这个包的两个命令 mpstat 和iostat。mpstat 是一个常用的多核 CPU 性能分析工具...

大数据集群二次开发及调优使用指导(二)-HBase

1     典型业务的调优1.1     提升写效率1.1.1   客户端相关配置在往HBase写入...

yarn常用命令

1、yarn application 查看任务1.1 列出所有 Application: yarn application -list1.2 根据 Application 状态过滤:yarn appl...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。