HDP-Yarn开启CPU调度和隔离

芒果2年前技术文章1648

进入到ambari主界面 点击yarn 
点击config 
CPU Scheduling and Isolation 设置为enable

98C8FEFE-165C-4BBD-8813-D7115BE72B9C.png
修改高级配置
点击ADVANCED
搜索需要修改的配
yarn.nodemanager.linux-container-executor.cgroups.mount-path =/sys/fs/cgroup #挂在目录
Yarn CGroup Hierarchy=/yarn
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage=true
yarn.nodemanager.linux-container-executor.cgroups.hierarchy=/yarn
yarn.nodemanager.linux-container-executor.group=hadoop
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false
保存配置 先不要重启yarn 。

编辑脚本
vi /etc/init.d/yarn_cgroup.sh
#!/bin/sh

mkdir -p /sys/fs/cgroup/cpu/yarn
chown -R yarn:hadoop /sys/fs/cgroup/cpu/yarn
mkdir -p /sys/fs/cgroup/memory/yarn
chown -R yarn:hadoop /sys/fs/cgroup/memory/yarn
mkdir -p /sys/fs/cgroup/blkio/yarn
chown -R yarn:hadoop /sys/fs/cgroup/blkio/yarn
mkdir -p /sys/fs/cgroup/net_cls/yarn
chown -R yarn:hadoop /sys/fs/cgroup/net_cls/yarn
mkdir -p /sys/fs/cgroup/devices/yarn
chown -R yarn:hadoop /sys/fs/cgroup/devices/yarn

分发每个nodemanager节点
scp yarn_cgroup.sh hdp0x:$PWD

执行脚本 
source /etc/init.d/yarn_cgroup.sh


ps 
如果/sys/fs/cgroup 只读模式 执行如下命令
mount -o remount,rw 文件挂载点名称 /sys/fs/cgroup
mount -o remount,rw /sys/fs/cgroup

然后去重启yarn服务。


冒烟测试
/usr/hdp/3.1.5.0-152/spark3/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster  --queue default1 /usr/hdp/3.1.5.0-152/spark3/examples/jars/spark-examples_2.12-3.2.1.jar 10000000





标签: 大数据运维

相关文章

CDP实操--Ranger开启ldap认证

CDP实操--Ranger开启ldap认证

集群中已经部署了ldap主主模式,并且使用haproxy进行负载均衡,keepalive提供了虚拟ip。页面配置:Ranger进行同步用户:验证:使用ldap用户登录页面:FAQ:1、admin超级管...

ElasticSearch开启xpack

ElasticSearch开启xpack

ES开启xpack1、生成ca证书(用户名和密码不用设置,一路回车,生成证书文件elastic-stack-ca.p12,生成kibana证书的时候也需要该ca证书)/opt/dtstack/es-6...

helm安装部署trino对接hive(一)

helm安装部署trino对接hive(一)

前提:本文前提是基于hive组件已经提前安装的情况下,安装部署好trino容器之后进行对hive组件的对接。helm trino地址:https://artifacthub.io/packages/h...

CDH实操--hive高可用

CDH实操--hive高可用

前言在CDH中,hive metastore、hiveserver2若角色单实例部署,或者部署多个实例但是连接配置任选其一的话,均存在单点问题,一旦实例故障就会影响业务稳定;这时我们就好考虑高可用部署...

ES运维(一)底层数据存储原理

ES运维(一)底层数据存储原理

1、ES底层数据存储原理架构图Segment工作流程:A、 新的文档在内存中组织B、 每隔一段时间,buffer将会被提交:生成一个新的segment(一个额外的新的倒序索引)并被写到磁盘,同时一个新...

内存--模拟内存打满

1 tmpfs介绍tmpfs是一种虚拟内存文件系统,正如这个定义它最大的特点就是它的存储空间在VM里面     VM是由linux内核里面的vm子系统管理的东...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。