Yarn生产环境核心参数

楼高2年前技术文章642

(1)ResourceManager相关

配置调度器:yarn.resourcemanager.scheduler.class    默认是容量调度器

处理调度器请求的线程数量:yarn.resourcemanager.scheduler.client.thread-count    默认是50

(2)NodeManager相关

是否让yarn自己检测硬件进行配置:yarn.nodemanager.resource.detect-hardware-capabilities    默认false

是否将虚拟核数当作CPU核数:yarn.nodemanager.resource.count-logical-processors-as-cores 默认false

虚拟核数和物理核数乘数:yarn.nodemanager.resource.pcores-vcores-multiplier,比如:4核8线程,该参数就应设为2,默认1.0

以下两个参数配置配置一个就行,通常需要配置

NodeManager使用内存:yarn.nodemanager.resource.memory-mb    默认8G

NodeManager为系统保留多少内存:yarn.nodemanager.resource.system-reserved-memory-mb

如总内存8G 该参数为2G也就是为系统留2G 剩余nodemanage可以使用6G

NodeManager使用CPU核数:yarn.nodemanager.resource.cpu-vcores    默认8个

是否开启物理内存检测限制container,ResourceManager会监控NodeManager的使用情况,监控机制。

比如A总共有8G内存,当A快超过8G时,会通知内存快使用完了

yarn.nodemanager-pvmem-check-enabled    默认打开

是否开启虚拟内存检测限制container:yarn.nodemanager.vmem-check-enabled    默认打开

虚拟内存和物理内存比例,假设物理内存8G,虚拟内存2.1*8=16.8G

yarn.nodemanager.vmem-pmem-ratio    默认2.1

(3)Container相关

容器最小内存:yarn.scheduler.minimum-allocation-mb                默认1G

容器最大内存:yarn.scheduler.maximum-allocation-mb               默认8G

容量最小CPU核数:yarn.scheduler.minimum-allocation-vcores     默认1个

容器最大CPU核数:yarn.scheduler.maximum-allocation-vcores    默认4个


相关文章

LINUX 安全运维-用户

Linux提供了各种不同的用户和角色,而有些用户和角色,系统根本不需要,应该删除他们,因为帐号越多,系统就越不安全!黑客可能利用他们,威胁服务器的安全。删除不需要的用户:for i in {adm,l...

开启kerberos配置HiveServer2负载均衡

开启kerberos配置HiveServer2负载均衡

1.HAProxy配置HiveServer2负载均衡1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置listen stats     bind 0.0.0.0:1...

Kafka报 IO Exception(many open files)

Kafka报 IO Exception(many open files)

1 线上问题kafka报错many open files,查看日志如下截取部分错误信息2 问题分析首先看kafka监控平台的一些监控指标,topic列表中关于topic的信息项如下所示:(1)topi...

performance_schema

performance_schema

performance_schema一、数据库支持情况1、performance_schema被视为存储引擎,如果该引擎可用,则应该 INFORMATION_SCHEMA.ENGINES 表或 sho...

prometheus黑盒监控

prometheus黑盒监控

黑盒监控即以用户的身份测试服务的外部可见性,常见的黑盒监控包括 HTTP探针、TCP探针、Dns、Icmp等用于检测站点、服务的可访问性、服务的连通性,以及访问效率等。prometheus提供了bla...

MySQL 创建索引报错

创建索引报错添加索引发现报错,具体报错如下:create unique index sm_sample_clothing_skc_SkcUniqueKey_uindex on sm_sample_cl...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。