CDP实操--HDFS角色迁移

九月2年前 (2023-02-10)技术文章607

hdfs角色迁移功能在cdp页面中就可以实现该功能，迁移的时间与namenode元数据大小，以及block数量多少有关，注意迁移过程中集群需要关闭，要预留出操作时间窗口。

1、页面选择迁移角色

图1.png

图2.png

图3.png

图4.png

Q:datanode组件不健康，显示连接不上namenode

图5.png

A：网络问题导致，互通后问题解决

标签: 大数据运维

返回列表

在全球数字化变革的背景下，为适应数字经济环境下企业生存发展和市场变化的需要，企业进行主动的、系统性、整体性的数字化转型升级。大数据、云计算、人工智能、区块链等新一代信息通信技术为企业的数字化转型提供了...

前提：本文是基于已经部署了trino容器的基础上进行的。冒烟测试是在trino对接ldap后并且ranger已经对接了metastore权限后，并且spark组件已经对接hudi，并且成功创建hudi...

官网链接：https://dolphinscheduler.apache.org本次测试版本为：https://dolphinscheduler.apache.org/zh-cn/download/3...

2.node_exporter监控集群服务器（所有集群服务器）wget https://github.com/prometheus/node_exporter/releases/download/v1...

1 迁移概述本次模拟es在线迁移方式：集群扩容-->数据迁移-->老节点下线-->服务重启刷新配置。中间master替换的时候会有短暂的不可用。另外业务测需注意：老节点下线前...

1、Hive产生背景MapReduce编程的不便性HDFS上的文件缺少Schema(表名，名称，ID等，为数据库对象的集合)2、Hive是什么Hive的使用场景是什么？基于Hadoop做一些数据清洗啊...