使用 cgroups为impala设置 CPU 限制

耀灵2年前技术文章990


有时应用会占用大量 CPU 时间，这可能会对环境的整体健康状况造成负面影响。使用 /sys/fs/ 虚拟文件系统，利用 控制组版本 (cgroups) 为应用配置 CPU 限制。

先决条件

  • 您有 root 权限。

  • 您有一个应用程序,您想限制其 CPU 消耗。

  • 验证是否已挂载了 cgroups 控制器：

[root@hadoop-dn4 ~]# mount -l | grep cgroup
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu,clone_children)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
[root@hadoop-dn4 ~]#[root@hadoop-dn4 ~]# mount -l | grep cgroup
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu,clone_children)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
[root@hadoop-dn4 ~]#

流程

  1. 在 CPU 消耗中识别您要限制的impala程序的进程 ID (PID)：

1.jpg

top 程序的输出示例显示 PID 318767（应用 impalad）消耗了大量 CPU 资源。

  1. 在 cpu 资源控制器目录中创建子目录：

mkdir /sys/fs/cgroup/cpu/impalad1/mkdir /sys/fs/cgroup/cpu/impalad1/

上面的目录代表控制组，您可以在其中放置特定进程并将某些 CPU 限制应用到进程。同时，目录中将创建一些 cgroups接口文件和 cpu 控制器特定的文件。

  1. (可选）检查新创建的控制组群：

[root@hadoop-dn1 impalad1]# pwd
/sys/fs/cgroup/cpu/impalad1
[root@hadoop-dn1 impalad1]# ll
total 0
-rw-r--r-- 1 root root 0 Jul 10 16:58 cgroup.clone_children
--w--w--w- 1 root root 0 Jul 10 16:58 cgroup.event_control
-rw-r--r-- 1 root root 0 Jul 10 17:00 cgroup.procs
-r--r--r-- 1 root root 0 Jul 10 16:58 cpuacct.stat
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpuacct.usage
-r--r--r-- 1 root root 0 Jul 10 16:58 cpuacct.usage_percpu
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.cfs_period_us
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.cfs_quota_us
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.rt_period_us
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.rt_runtime_us
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.shares
-r--r--r-- 1 root root 0 Jul 10 16:58 cpu.stat
-rw-r--r-- 1 root root 0 Jul 10 16:58 notify_on_release
-rw-r--r-- 1 root root 0 Jul 10 16:58 tasks[root@hadoop-dn1 impalad1]# pwd
/sys/fs/cgroup/cpu/impalad1
[root@hadoop-dn1 impalad1]# ll
total 0
-rw-r--r-- 1 root root 0 Jul 10 16:58 cgroup.clone_children
--w--w--w- 1 root root 0 Jul 10 16:58 cgroup.event_control
-rw-r--r-- 1 root root 0 Jul 10 17:00 cgroup.procs
-r--r--r-- 1 root root 0 Jul 10 16:58 cpuacct.stat
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpuacct.usage
-r--r--r-- 1 root root 0 Jul 10 16:58 cpuacct.usage_percpu
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.cfs_period_us
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.cfs_quota_us
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.rt_period_us
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.rt_runtime_us
-rw-r--r-- 1 root root 0 Jul 10 16:58 cpu.shares
-r--r--r-- 1 root root 0 Jul 10 16:58 cpu.stat
-rw-r--r-- 1 root root 0 Jul 10 16:58 notify_on_release
-rw-r--r-- 1 root root 0 Jul 10 16:58 tasks

示例输出中显示的文件，如 cpuacct.usage、cpu.cfs._period_us，它们代表特定配置和/或限制，可以为 Example 控制组中的进程设置。请注意，对应的文件名前缀为它们所属的控制组控制器的名称。

默认情况下，新创建的控制组继承对系统整个 CPU 资源的访问权限，且无限制。

  1. 为控制组群配置 CPU 限制：

echo "1000000" > /sys/fs/cgroup/cpu/impalad1/cpu.cfs_period_us
echo "3000000" > /sys/fs/cgroup/cpu/impalad1/cpu.cfs_quota_us
echo "318767" > /sys/fs/cgroup/cpu/impalad1/cgroup.procsecho "1000000" > /sys/fs/cgroup/cpu/impalad1/cpu.cfs_period_us
echo "3000000" > /sys/fs/cgroup/cpu/impalad1/cpu.cfs_quota_us
echo "318767" > /sys/fs/cgroup/cpu/impalad1/cgroup.procs

cpu.cfs_period_us 文件表示以微秒为单位（这里表示为"us"）的时段，用于控制组对 CPU 资源的访问权限应重新分配的频率。上限为 1 秒，下限为 1000 微秒。

cpu.cfs_quota_us 文件表示以微秒为单位的总时间量，控制组中的所有进程都可以在一个期间（如 cpu.cfs_period_us 定义）。当控制组中的进程在单个期间内使用配额指定的所有时间时，就会在句点的其余部分内进行限流，并且不允许在下一个期间内运行。下限为 1000 微秒。

上面的示例命令设定 CPU 时间限值，使得 Example 控制组中的所有进程仅能每 1 秒（ cpu.cfs_quota_us 定义）每 1 秒（由 cpu.cfs_period_us 定义）运行 0.2 秒。

  1. 为控制组群配置 CPU 限制：

[root@hadoop-dn1 impalad1]# cat /sys/fs/cgroup/cpu/impalad1/cpu.cfs_period_us
1000000
[root@hadoop-dn1 impalad1]# cat /sys/fs/cgroup/cpu/impalad1/cpu.cfs_quota_us
3000000[root@hadoop-dn1 impalad1]# cat /sys/fs/cgroup/cpu/impalad1/cpu.cfs_period_us
1000000
[root@hadoop-dn1 impalad1]# cat /sys/fs/cgroup/cpu/impalad1/cpu.cfs_quota_us
3000000

  1. 将应用程序的 PID 添加到 Example 控制组群中：

echo "318767" > /sys/fs/cgroup/cpu/impalad1/cgroup.procs

or

echo "318767" > /sys/fs/cgroup/cpu/impalad1/tasksecho "318767" > /sys/fs/cgroup/cpu/impalad1/cgroup.procs

or

echo "318767" > /sys/fs/cgroup/cpu/impalad1/tasks

上一命令可确保所需的应用成为 impalad1 控制组的成员，因此不超过为 impalad1 控制组配置的 CPU 限值。

  1. 验证应用程序是否在指定的控制组群中运行：

[root@hadoop-dn1 impalad1]# cat /proc/318767/cgroup 
11:cpuset:/
10:freezer:/
9:pids:/
8:blkio:/
7:hugetlb:/
6:memory:/
5:cpuacct,cpu:/impalad1
4:perf_event:/
3:devices:/
2:net_prio,net_cls:/
1:name=systemd:/user.slice/user-1000.slice/session-2.scope
[root@hadoop-dn1 impalad1]# [root@hadoop-dn1 impalad1]# cat /proc/318767/cgroup 
11:cpuset:/
10:freezer:/
9:pids:/
8:blkio:/
7:hugetlb:/
6:memory:/
5:cpuacct,cpu:/impalad1
4:perf_event:/
3:devices:/
2:net_prio,net_cls:/
1:name=systemd:/user.slice/user-1000.slice/session-2.scope
[root@hadoop-dn1 impalad1]#

上面的示例输出显示所需应用的进程在 impalad1 控制组中运行，它将 CPU 限制应用到应用的进程。

  1. 验证应用程序是否在指定的控制组群中运行：

2.jpg

请注意，PID 318767 的 CPU 消耗从 1017% 降至 300%以内。


返回列表

上一篇：EMR yarn集成Cgroup

下一篇：flink单task多slot调优

相关文章

K3S部署和使用

K3S部署和使用

k3s介绍k3s是一个高可用的、经过CNCF认证的Kubernetes发行版，专为无人值守、资源受限、偏远地区或物联网设备内部的生产工作负载而设计。k3s安装参考文件使用配置文件安装k3s为了保证k3...

数据湖技术之iceberg（十一）Flink与Iceberg整合-DataStream API

数据湖技术之iceberg（十一）Flink与Iceberg整合-DataStream API

1.实时写入Iceberg表DataStream Api方式操作Iceberg方式目前仅支持Java Api。使用DataStream API 实时写入Iceberg表具体操作如下：2、编写代码使用D...

寻找CPU使用率高进程方法

寻找CPU使用率高进程方法

背景节点报CPU使用率高，需要定位是什么进程占用CPU使用率高。CPU使用率持续较高在对应节点使用 “top”命令，然后键盘输入“P”，即按照CPU使用率排序进程。执行ps -ef | grep &l...

企业级大数据安全架构（七）

企业级大数据安全架构（七）

在企业级大数据安全方案中，本节主要介绍服务安全问题，引入kerberos认证机制，目前直接对接kerberos使用较多，这里我们使用FreeIPA来集成kerberosFreeIPA官网下载地址：ht...

kubernetes HPA

kubernetes HPA

Horizontal Pod Autoscaling 可以根据 CPU 利用率自动伸缩一个 ReplicaSet、Deployment 或者中的 Pod 数量cat hpa-deploy.yaml a...

Hbase 存储相关知识

1.Hbase的写流程Client 写入-> 存入MemStore，一直到MemStore 满-> Flush 成一个StoreFile，直至增长到一定阈值-> 触发Compact...

发表评论    

◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。

©Copyrights 2016-2022 YUNCHE 浙ICP备2021017017号