HDP实操--NameNode开启高可用

九月2年前技术文章1574

为了确定在namenode组件失败后集群中有其他的namenode可以工作,需要对hdp集群配置高可用,当前我们配置的非安全集群的高可用。

前置条件:

(1)确保你的集群至少有3个节点并且至少有3个Apache ZooKeeper servers在运行。

(2)确保你的hdfs和zookeeper不在维护模式中。

 (3)  If you have HBase running, please exit this wizard and stop HBase first.

1、设置nameservice

Ambari的web页面,选择Services > HDFS > Summary。点击Actions,然后选择Enable NameNode HA。在Get Started 窗口,设置nameservice。

图1.png

2、修改hive元数据配置

如果有安装的hive,在部署namenode ha的时候要修改hive metastore中的hdfs路径,将之前的hdfs配置修改成新设置的nameservice,可以执行一下命令:

在hive节点中执行命令查看当前hdfs配置:

hive --config /etc/hive/conf/conf.server --service metatool -listFSRoot

图2.png

更改hdfs的root配置:

#hive --config /etc/hive/conf/conf.server --service metatool -updateLocation [NEW_LOCATION][OLD_LOCATION]

hive --config /etc/hive/conf --service metatool -updateLocation hdfs://mycluster/apps/hive/warehouse hdfs://hdp001:8020/warehouse

图3.png

3、集群中配置zookeeper的失败次数

页面中选择Services > HDFS > Configs > Advanced core-site,设置

ha.failover-controller.active-standby-elector.zk.op.retries=120。

4、增加组件

选择节点对另外的namenode组件和journalnode组件进行部署。

Review页面,确定部署的节点然后点击next

5、create checkpoint

在Manual Steps Required: Create Checkpoint on NameNode 页面,要登录到之前的namenode节点,将namenode节点配置成安全模式并且创建checkpoint,当页面显示checkpoint已经创建的时候,选择next。



Configure Components页面查看安装情况,部署完毕后点击next。

图6.png

6、初始化jn组件

Manual Steps Required: Initialize JournalNodes页面显示要对JournalNodes组件进行初始化,登录之前的namenode节点运行以下命令

图7.png

7、在Start Components页面,监控zk和namenode的启动

图8.png

8、 初始化nn组件

Manual Steps Required: Initialize NameNode HA Metadata,在这一步,需要登录之前的namenode节点和要增加的另一台namenode节点,执行对应命令,确定完成初始化metastore后点击next。

图9.png

9、在Finalize HA Setup页面,监控安装进程。

图10.png


相关文章

Gartner权威报告解读|应用可观测性列为2023年重要战略技术趋势!

Gartner于今日发布企业机构在2023年需要探索的十大战略技术趋势。Gartner杰出研究副总裁Frances Karamouzis表示:“为了在经济动荡时期增加企业机构的盈利,首席信息官和IT高...

chengying-6.0登入接口逆向

chengying-6.0登入接口逆向

版本更新首先是登入的加密url:http://172.16.121.70/login参数1. username:admin@dtstack.com2. password:614bb9438210c69...

dolphinscheduler部署-FAQ

dolphinscheduler部署-FAQ

如果是cdh集群会遇到一个问题5678端口被占用这是因为cdh的agent用了5678那我们改下配置文件文件:/opt/apache-dolphinscheduler-3.1.8-bin/st...

Debezium抽取SQL Server同步kafka

Debezium抽取SQL Server同步kafka

ebezium SQL Server连接器捕获SQL Server数据库模式中发生的行级更改。官方2.0文档:https://debezium.io/documentation/reference/2...

Hive压测之开源Hive基准测试工具(hive-testbench-hive14)

Hive压测之开源Hive基准测试工具(hive-testbench-hive14)

此文章禁止转载概述Hive基准测试工具工具,可用来造数测试Hive基本性能。TPC-DS:提供一个公平和诚实的业务和数据模型,99个案例TPC-H:面向商品零售业的决策支持系统测试基准,定义了8张表,...

HDP-Yarn开启CPU调度和隔离

HDP-Yarn开启CPU调度和隔离

进入到ambari主界面 点击yarn 点击config CPU Scheduling and Isolation 设置为enable修改高级配置点击ADVANCED搜索需要修改的配yarn.node...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。