CDH实操--HDFS高可用设置

二龙2年前技术文章933

1 概述

        在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决NameNode单点故障的问题,Hadoop给出了HDFS的高可用HA方案,HDFS集群由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。

        Active NameNode可对外提供服务,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便在Active NameNode失败时快速的进行切换。本篇文章主要讲述如何使用Cloudera Manager启用HDFS的HA。

  • 前置条件

a.拥有Cloudera Manager的管理员账号

b.CDH集群已安装成功并正常使用

2 启动HDFS的HA

2.1 使用管理员用户登录Cloudera Manager的Web管理界面,进入HDFS服务

001.png

2.2 点击“启用High Avaiability”,设置NameService名称

002.png

2.3 点击“继续”,选择NameNode主机及JouralNode主机

003.png

JouralNode主机选择,一般与Zookeeper节点一致即可(至少3个且为奇数)

2.4 点击“继续”,设置NameNode的数据目录和JouralNode的编辑目录

004.png

NameNode的数据目录默认继承已有NameNode数据目录。

2.5 点击“继续”,启用HDFS的High Availability,如果集群已有数据,格式化NameNode会报错,不用理。

005.png

006.png

2.6 点击“继续”,完成HDFS的High Availability 

007.png

2.7 HDFS实例查看

008.png



相关文章

ranger对接hbase

ranger对接hbase

前提:本文是基于集群中已经部署了ranger组件和hbase组件的情况下,增加ranger对hbase组件的对接。安装部署1、ranger-hbase插件安装使用ranger2.3版本对接插件。将插件...

大数据监控系列(一)——Prometheus+Grafana监控概述

大数据监控系列(一)——Prometheus+Grafana监控概述

1 概述这是介绍Prometheushe和Grafana主要是为了监控大数据产品,数栈平台也是使用Prometheushe+Grafana作为底层大数据组件的监控,并且均有配置模板,导入即在Grafa...

oracle回收站简介

一、回收站简介1、概念和功能回收站从ORACLE 10g开始引入,全称叫Tablespace Recycle Bin。回收站实际是一个逻辑区域,使用的已经分配的表空间,表被drop时,数据不会实际删除...

kafka启动失败

kafka启动失败

问题现象客户重启kafka服务,页面显示run fail        问题报错问题原因  &nbs...

Redis 大 key

1、bigkeysRedis提供了 bigkeys 参数能够使 redis-cli 以遍历的方式分析 Redis 实例中的所有 Key ,并返回 Key 的整体统计信息与每个数据类型中 Top1 的大...

使用Velero备份与恢复K8s集群及应用

使用Velero备份与恢复K8s集群及应用

环境3台虚拟机组成一主两从的测试集群,使用NFS作为动态存储主机IP系统k8s-master192.168.1.10centos7.9k8s-node1192.168.1.11centos7.9k8s...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。