Yarn界面详解
1.Active Nodes:表示Yarn集群管理的节点的个数,其实就是NodeManager的个数,集群有2个NodeManager
从配置中可以看到每一个NodeManager管理的内存大小是1630MB,那么整个Yarn集群管理的内存总大小就是1630MB * 2 = 3260MB约等于3.18GB,也就是我们看到的Memory Total
2.Vcores Total:表示Yarn集群管理的cpu的虚拟核心的总数,这个大小等于所有的NodeManager管理的虚拟核心之和,每一个NodeManager管理的虚拟核心数是通过yarn-site.xml中的如下配置进行配置的
yarn.nodemanager.resource.cpu-vcores
3.Memory Total:表示Yarn集群管理的内存的总大小,这个内存总大小等于所有的NodeManager管理的内存之和,每一个NodeManager管理的内存大小通过yarn-site.xml中的如下配置进行配置的:
yarn.nodemanager.resource.memory-mb
4.Scheduler Type:表示资源分配的类型,也就是我Hadoop-yarn安装文章中说到的三中资源调度
5.Minimum Allocation:最小分配资源,就是说当一个任务向Yarn申请资源的时候,Yarn至少会分配<memory:1024, vCores:1>这个资源给这个任务,这个分配的最小内存和最小核心数可以分别由配置yarn.scheduler.minimum-allocation-mb(默认值是1024MB)和yarn.scheduler.minimum-allocation-vcores(默认值是1)来控制
6.Maximum Allocation:最大分配资源,就是说当一个任务向Yarn申请资源的时候,Yarn最多会分配<memory:1630, vCores:2>这个资源给这个任务,这个分配的最大内存和最多核心数可以分别由配置yarn.scheduler.maximum-allocation-mb(默认值是8192MB)和yarn.scheduler.maximum-allocation-vcores(默认值是32)来控制,当然这两个值肯定不能比集群管理的资源还要多
集群指标区域:
包含如下内容:
Apps Submitted:提交的任务数目
Apps Pending:挂起的任务数目
Apps Running:运行的任务数目
Apps Completed:完成的任务数目
Containers Running:正在运行的container数目
Memory/VCores used:使用了整体集群的内存/虚拟核总量
Memory/Vcores Total:集群内存/虚拟核总量
Memory/Vcores Reserved:当前集群保留的内存/虚拟核,reserve的原因,是因为container由调度器分配了资源到某个节点上,但是这个节点,已经没有资源了。此时该container会进入reserve状态。
Active Nodes:活动的节点
Decommissioned Nodes :退服的节点
Lost Nodes:丢失的节点
Unhealthy Nodes:不健康的节点
Rebooted Nodes:重启的节点
节点下面的数字是一个超链接,点击可以查看具体的节点信息。