Yarn界面详解

南墨1年前技术文章634

1.png

1.Active Nodes:表示Yarn集群管理的节点的个数,其实就是NodeManager的个数,集群有2个NodeManager

从配置中可以看到每一个NodeManager管理的内存大小是1630MB,那么整个Yarn集群管理的内存总大小就是1630MB * 2 = 3260MB约等于3.18GB,也就是我们看到的Memory Total

2.Vcores Total:表示Yarn集群管理的cpu的虚拟核心的总数,这个大小等于所有的NodeManager管理的虚拟核心之和,每一个NodeManager管理的虚拟核心数是通过yarn-site.xml中的如下配置进行配置的

yarn.nodemanager.resource.cpu-vcores

3.Memory Total:表示Yarn集群管理的内存的总大小,这个内存总大小等于所有的NodeManager管理的内存之和,每一个NodeManager管理的内存大小通过yarn-site.xml中的如下配置进行配置的:

yarn.nodemanager.resource.memory-mb

4.Scheduler Type:表示资源分配的类型,也就是我Hadoop-yarn安装文章中说到的三中资源调度

5.Minimum Allocation:最小分配资源,就是说当一个任务向Yarn申请资源的时候,Yarn至少会分配<memory:1024, vCores:1>这个资源给这个任务,这个分配的最小内存和最小核心数可以分别由配置yarn.scheduler.minimum-allocation-mb(默认值是1024MB)和yarn.scheduler.minimum-allocation-vcores(默认值是1)来控制

6.Maximum Allocation:最大分配资源,就是说当一个任务向Yarn申请资源的时候,Yarn最多会分配<memory:1630, vCores:2>这个资源给这个任务,这个分配的最大内存和最多核心数可以分别由配置yarn.scheduler.maximum-allocation-mb(默认值是8192MB)和yarn.scheduler.maximum-allocation-vcores(默认值是32)来控制,当然这两个值肯定不能比集群管理的资源还要多



集群指标区域:

1.png

包含如下内容:

Apps Submitted:提交的任务数目

Apps Pending:挂起的任务数目

Apps Running:运行的任务数目

Apps Completed:完成的任务数目

Containers Running:正在运行的container数目

Memory/VCores used:使用了整体集群的内存/虚拟核总量

Memory/Vcores Total:集群内存/虚拟核总量

Memory/Vcores Reserved:当前集群保留的内存/虚拟核,reserve的原因,是因为container由调度器分配了资源到某个节点上,但是这个节点,已经没有资源了。此时该container会进入reserve状态。

Active Nodes:活动的节点

Decommissioned Nodes :退服的节点

Lost Nodes:丢失的节点

Unhealthy Nodes:不健康的节点

Rebooted Nodes:重启的节点

节点下面的数字是一个超链接,点击可以查看具体的节点信息。



相关文章

图片

企业Oracle RAC上云闲谈

随着计算机技术和互联网的不断推进,云计算平台也更加趋于稳定、安全,其显著的性能、方便的资源管理、快捷的应用部署方式越来越为IT业者所接受。目前,云计算已经成为企业数字化转型的重要驱动力。面对基于Ora...

kafka节点数规划

按磁盘容量规划节点数Kafka的数据存放在本地磁盘,建议使用SAS盘,提供较高磁盘IO,以提高Kafka吞吐量。在本规划基于的硬件规格下,单节点平均吞吐量参考值为读300MB/s,写150MB/s。数...

数据湖技术之iceberg(四)iceberg的数据类型

1  Iceberg数据类型类型描述笔记boolean布尔类型,true或者falseint32 位有符号整数可以转换成long类型long64 位有符号整数float单精度浮点型可以转换成...

Kubernetes 调度策略

1、资源调度创建一个新的 Pod 资源对象时,该 Pod 应该运行在哪个工作节点,由 Scheduler 调度器进行调度。Scheduler 是一个守护进程,其内部有很多调度算法。Pod 调度流程:当...

大数据组件--Hive与Impala的异同

大数据组件--Hive与Impala的异同

一、同数据存储:使用相同的存储数据池都支持把数据存储于HDFS, HBase。元数据:两者使用相同的元数据。SQL语法:基本类似。二、异1)、底层运行使用的技术hive底层默认使用mapreduce引...

使用clickhouse-backup备份和恢复数据

使用clickhouse-backup备份和恢复数据

介绍clickhouse-backup是altinity提供的一个clickhouse数据库备份和恢复的工具,开源项目地址:https://github.com/Altinity/clickhouse...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。