Yarn生产环境核心参数

楼高11个月前技术文章328

(1)ResourceManager相关

配置调度器:yarn.resourcemanager.scheduler.class    默认是容量调度器

处理调度器请求的线程数量:yarn.resourcemanager.scheduler.client.thread-count    默认是50

(2)NodeManager相关

是否让yarn自己检测硬件进行配置:yarn.nodemanager.resource.detect-hardware-capabilities    默认false

是否将虚拟核数当作CPU核数:yarn.nodemanager.resource.count-logical-processors-as-cores 默认false

虚拟核数和物理核数乘数:yarn.nodemanager.resource.pcores-vcores-multiplier,比如:4核8线程,该参数就应设为2,默认1.0

以下两个参数配置配置一个就行,通常需要配置

NodeManager使用内存:yarn.nodemanager.resource.memory-mb    默认8G

NodeManager为系统保留多少内存:yarn.nodemanager.resource.system-reserved-memory-mb

如总内存8G 该参数为2G也就是为系统留2G 剩余nodemanage可以使用6G

NodeManager使用CPU核数:yarn.nodemanager.resource.cpu-vcores    默认8个

是否开启物理内存检测限制container,ResourceManager会监控NodeManager的使用情况,监控机制。

比如A总共有8G内存,当A快超过8G时,会通知内存快使用完了

yarn.nodemanager-pvmem-check-enabled    默认打开

是否开启虚拟内存检测限制container:yarn.nodemanager.vmem-check-enabled    默认打开

虚拟内存和物理内存比例,假设物理内存8G,虚拟内存2.1*8=16.8G

yarn.nodemanager.vmem-pmem-ratio    默认2.1

(3)Container相关

容器最小内存:yarn.scheduler.minimum-allocation-mb                默认1G

容器最大内存:yarn.scheduler.maximum-allocation-mb               默认8G

容量最小CPU核数:yarn.scheduler.minimum-allocation-vcores     默认1个

容器最大CPU核数:yarn.scheduler.maximum-allocation-vcores    默认4个


相关文章

oracle安装实例的响应文件模板解析

位置在:db解压目录下database/response/dbca.rsp###############################################################...

ubuntu安装mysql

执行sudo apt install mysql-server启动mysqlsudo systemctl start mysql查看状态sudo systemctl status mysql查看默认密...

Linux操作系统启动流程

Linux操作系统启动流程

无论Windows还是Linux操作系统,启动之前都会对硬件进行检测,之后硬盘引导启动操作系统,下面是与启动系统相关的几个概念。BIOS基本输入输出系统 是一组固化到计算机主板上的只读内存镜...

MySQL 复制-无数据环境搭建异步复制

MySQL 复制-无数据环境搭建异步复制

全新初始化(新环境,无数据)搭建 MySQL 异步复制 & GTID 复制标准文档。一、前言环境说明:操作系统 CentOS 7  & 数据库版本 5.7.32参数要求:主库必须开启...

谈谈K8S Pod Eviction 机制

Pod Eviction 简介Pod Eviction 是k8s一个特色功能,它在某些场景下应用,如节点NotReady、Node节点资源不足,把pod驱逐至其它Node节点。从发起模块的角度,pod...

A集群导入B集群中的高可用版rancher

A集群导入B集群中的高可用版rancher

问题现象:已知在B集群中采用helm方式部署了一个高可用版本的rancher,该rancher中已经配置导入了三套集群,并且三套集群状态在rancher控制台处均显示正常,日常可借助该rancher管...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。