Yarn生产环境核心参数

楼高4个月前技术文章106

(1)ResourceManager相关

配置调度器:yarn.resourcemanager.scheduler.class    默认是容量调度器

处理调度器请求的线程数量:yarn.resourcemanager.scheduler.client.thread-count    默认是50

(2)NodeManager相关

是否让yarn自己检测硬件进行配置:yarn.nodemanager.resource.detect-hardware-capabilities    默认false

是否将虚拟核数当作CPU核数:yarn.nodemanager.resource.count-logical-processors-as-cores 默认false

虚拟核数和物理核数乘数:yarn.nodemanager.resource.pcores-vcores-multiplier,比如:4核8线程,该参数就应设为2,默认1.0

以下两个参数配置配置一个就行,通常需要配置

NodeManager使用内存:yarn.nodemanager.resource.memory-mb    默认8G

NodeManager为系统保留多少内存:yarn.nodemanager.resource.system-reserved-memory-mb

如总内存8G 该参数为2G也就是为系统留2G 剩余nodemanage可以使用6G

NodeManager使用CPU核数:yarn.nodemanager.resource.cpu-vcores    默认8个

是否开启物理内存检测限制container,ResourceManager会监控NodeManager的使用情况,监控机制。

比如A总共有8G内存,当A快超过8G时,会通知内存快使用完了

yarn.nodemanager-pvmem-check-enabled    默认打开

是否开启虚拟内存检测限制container:yarn.nodemanager.vmem-check-enabled    默认打开

虚拟内存和物理内存比例,假设物理内存8G,虚拟内存2.1*8=16.8G

yarn.nodemanager.vmem-pmem-ratio    默认2.1

(3)Container相关

容器最小内存:yarn.scheduler.minimum-allocation-mb                默认1G

容器最大内存:yarn.scheduler.maximum-allocation-mb               默认8G

容量最小CPU核数:yarn.scheduler.minimum-allocation-vcores     默认1个

容器最大CPU核数:yarn.scheduler.maximum-allocation-vcores    默认4个


相关文章

Yarn调度器对比

1)Hadoop调度器重要分为三类:FIFO 、Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器)。Apache默认的资源调度器是容量调度器;CDH...

域名购买及备案

域名购买及备案

购买域名域名控制台 -- 域名列表 -- 注册域名注意域名购买时候域名系统中填写的持有者单位名称需与提交审核证件中的单位名称严格完全一致的模板认证中企业/组织相关材料及填写要求可参考此文档https:...

Datanode节点坏卷处理

Datanode节点坏卷处理

1、告知客户故障信息,确定是否有备用磁盘更换2、停止故障节点的所有角色服务3、卸载故障磁盘umount -vl /data64、等待硬件厂商更换好磁盘5、对新磁盘分区和格式化#1.磁盘分区 mkfs...

K8s Pod无法访问SLB地址

K8s Pod无法访问SLB地址

一、问题现象客户反馈172.16.11.220 telnet 47.99.87.129 80 不通,另一台172.16.11.219可以通。二、排查思路172.16.11.220,172.16.11....

MySQL 8.0 Clone 备份恢复演练

前言上一篇文章中,我们介绍了使用 Clone 插件进行备份,相关的恢复流程将在本篇文章介绍。MySQL 8.0 Clone Plugin 详解恢复增量数据的方法,使用的是伪装为 relay log 通...

 大数据集群监控配置操作指导(二)node_exporter+mysql_exporter部署

大数据集群监控配置操作指导(二)node_exporter+mysql_exporter部署

2.node_exporter监控集群服务器(所有集群服务器)wget https://github.com/prometheus/node_exporter/releases/download/v1...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。