Yarn生产环境核心参数

楼高1年前技术文章527

(1)ResourceManager相关

配置调度器:yarn.resourcemanager.scheduler.class    默认是容量调度器

处理调度器请求的线程数量:yarn.resourcemanager.scheduler.client.thread-count    默认是50

(2)NodeManager相关

是否让yarn自己检测硬件进行配置:yarn.nodemanager.resource.detect-hardware-capabilities    默认false

是否将虚拟核数当作CPU核数:yarn.nodemanager.resource.count-logical-processors-as-cores 默认false

虚拟核数和物理核数乘数:yarn.nodemanager.resource.pcores-vcores-multiplier,比如:4核8线程,该参数就应设为2,默认1.0

以下两个参数配置配置一个就行,通常需要配置

NodeManager使用内存:yarn.nodemanager.resource.memory-mb    默认8G

NodeManager为系统保留多少内存:yarn.nodemanager.resource.system-reserved-memory-mb

如总内存8G 该参数为2G也就是为系统留2G 剩余nodemanage可以使用6G

NodeManager使用CPU核数:yarn.nodemanager.resource.cpu-vcores    默认8个

是否开启物理内存检测限制container,ResourceManager会监控NodeManager的使用情况,监控机制。

比如A总共有8G内存,当A快超过8G时,会通知内存快使用完了

yarn.nodemanager-pvmem-check-enabled    默认打开

是否开启虚拟内存检测限制container:yarn.nodemanager.vmem-check-enabled    默认打开

虚拟内存和物理内存比例,假设物理内存8G,虚拟内存2.1*8=16.8G

yarn.nodemanager.vmem-pmem-ratio    默认2.1

(3)Container相关

容器最小内存:yarn.scheduler.minimum-allocation-mb                默认1G

容器最大内存:yarn.scheduler.maximum-allocation-mb               默认8G

容量最小CPU核数:yarn.scheduler.minimum-allocation-vcores     默认1个

容器最大CPU核数:yarn.scheduler.maximum-allocation-vcores    默认4个


相关文章

使用helm在k8s集群部署rancher

使用helm在k8s集群部署rancher由于我们的k8s版本是1.22,所以我们直接安装latest版本的rancher。不同版本的rancher helm仓库可以看下面链接https://docs...

CDH-Kafka节点迁移

CDH-Kafka节点迁移

1、节点迁移先添加节点,将需要换掉的节点关闭,等待选举leader启动新添加的节点关闭旧的节点等待选举leader出现离线分区。需要将分区分配到新的节点2、重分配分区kafak kerberos环境下...

SpringBootWeb 篇-深入了解 SpringBoot + Vue 的前后端分离项目部署上线与 Nginx 配置文件结构(1)

SpringBootWeb 篇-深入了解 SpringBoot + Vue 的前后端分离项目部署上线与 Nginx 配置文件结构(1)

  1.0 云服务器的准备        使用云服务是为了可以得到一个 Linux 环境,比如说常用到的 Ubuntu 的配套程序。  &n...

CPU--平均负载

1、原理概述平均负载是指单位时间内,系统处于可运行状态和不可中断状态的平均进程数,也就是平均活跃进程数,它和 CPU 使用率并没有直接关系。   * ...

大数据即席查询-Presto

一、Presto 概念Presto 是一个开源的分布式 SQL 查询引擎,数据量支持 GB 到 PB 字节,主要用来秒级查询的场景。注:虽然 Presto 可以解析 SQL,但它不是一个标准的数据库。...

两款方案详解,企业线下数据库迁移至云上ScyllaDB(2)

方案二通过在集群中添加新数据中心的方式,进行数据迁移。然后下线集群老的数据中心。1. 集群添加新数据中心1.1. 先决条件收集现有集群信息:cat /etc/scylla...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。