Yarn生产环境核心参数

楼高2年前技术文章1076

(1)ResourceManager相关

配置调度器:yarn.resourcemanager.scheduler.class    默认是容量调度器

处理调度器请求的线程数量:yarn.resourcemanager.scheduler.client.thread-count    默认是50

(2)NodeManager相关

是否让yarn自己检测硬件进行配置:yarn.nodemanager.resource.detect-hardware-capabilities    默认false

是否将虚拟核数当作CPU核数:yarn.nodemanager.resource.count-logical-processors-as-cores 默认false

虚拟核数和物理核数乘数:yarn.nodemanager.resource.pcores-vcores-multiplier,比如:4核8线程,该参数就应设为2,默认1.0

以下两个参数配置配置一个就行,通常需要配置

NodeManager使用内存:yarn.nodemanager.resource.memory-mb    默认8G

NodeManager为系统保留多少内存:yarn.nodemanager.resource.system-reserved-memory-mb

如总内存8G 该参数为2G也就是为系统留2G 剩余nodemanage可以使用6G

NodeManager使用CPU核数:yarn.nodemanager.resource.cpu-vcores    默认8个

是否开启物理内存检测限制container,ResourceManager会监控NodeManager的使用情况,监控机制。

比如A总共有8G内存,当A快超过8G时,会通知内存快使用完了

yarn.nodemanager-pvmem-check-enabled    默认打开

是否开启虚拟内存检测限制container:yarn.nodemanager.vmem-check-enabled    默认打开

虚拟内存和物理内存比例,假设物理内存8G,虚拟内存2.1*8=16.8G

yarn.nodemanager.vmem-pmem-ratio    默认2.1

(3)Container相关

容器最小内存:yarn.scheduler.minimum-allocation-mb                默认1G

容器最大内存:yarn.scheduler.maximum-allocation-mb               默认8G

容量最小CPU核数:yarn.scheduler.minimum-allocation-vcores     默认1个

容器最大CPU核数:yarn.scheduler.maximum-allocation-vcores    默认4个


相关文章

RAC和DG的选择

RAC和DG的选择

RAC和DG的选择一、RAC1、什么是RAC实时应用集群,是负载均衡模式,两台机器同时工作参与到业务系统中,如果其中一个节点出现问题,所有的会话连接会转到另一个节点,保证业务系统正常运行,但是数据只有...

docker日志切割

docker日志切割

如果在docker部署前期没有规划好,例如:没有提前配置容器日志切割,那么在后期容器日志就会越来越大,当想要通过日志查看相关报错等信息的时候就会比较麻烦。配置docker日志切割在/etc/docke...

kubernetes调度策略

1、背景在 Kubernetes 中,调度 (scheduling) 指的是确保 Pod 匹配到合适的节点,以便 kubelet 能够运行它们。调度的工作由调度器和控制器协调完成。调度器通过 Kube...

数据湖技术之iceberg(六)Iceberg表数据组织与查询

数据湖技术之iceberg(六)Iceberg表数据组织与查询

1     Iceberg表数据组织与查询1) 下载avro-tools jar包由于后期需要查看avro文件内容,我们可以通过avro-tool.jar来查看...

MySQL 在线开启 GTID

MySQL 在线开启 GTID

描述生产环境上也会遇到需要开启 GTID ,有什么风险?如何在线开启?本篇 SOP 将介绍。GTID 限制由于基于 GTID 复制依赖于事务,所有开启 GTID 时,有些 MySQL 特性不支持:事务...

证书不识别问题处理

证书不识别问题处理

生成证书时客户端进入显示不识别在172.16.121.210生成一个证书后,使用keytool -importkeystore命令将其他节点172.16.121.114的条目进行合并,问题并没有解决,...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。