Pod 资源利用率计算

琉璃2年前技术文章4994

Pod CPU使用率

即在过去的一段时间里进程占用的CPU时间与CPU总时间的比率,如果有多个CPU或者多核,需要将每个CPU的时间相加。

container_cpu_usage_seconds_total是container累计使用的CPU时间,用它除以CPU的总时间,就得到了容器的CPU使用率。

Pod 在1s内累计使用的CPU时间为:

sum(rate(container_cpu_usage_seconds_total(image!=""][1m])) by (pod_name, namespace)

container_spec_cpu_quota 是容器的CPU配额,它的值是:为容器指定的CPU个数*100000。

故,Pod在1s内CPU的总时间为:Pod的CPU核数*1s:

(sum(container_spec_cpu_quota(image!="")/100000) by (pod_name, namespace))

将上面两个公式的结果相除,就得到了容器的CPU使用率:

sum(rate(container_cpu_usage_seconds_total(imagel=")[1m])) by (pod_name, namespace) / (sum(container_spec_cpu_quota(image!="")/100000) by (pod_name, namespace)


Pod 内存使用率

直接用内存实际使用量除以内存限制使用量即可

sum(container_memory_rss(image!-"")) by(pod_name, namespace) / sum(container_spec_memory_limit_bytes(image!-"")) by(pod_name, namespace) * 100 != +inf



Pod文件系统使用量

sum(container_fs_usage_bytes(image!=""]) by(pod_name, namespace) / 1024 / 1024 / 1024


requests和limit值解释

资源限制内部机制使用的是cgroup类型 目录: /sys/fs/cgroup/systemd

k8s采用request和limit两种限制类型来对资源进行分配

request(资源需求):即运行pod的节点必须满足运行pod的最基本需求才能运行pod。

limit(资源限制):即运行pod期间,可能内存使用量会增加,那最多能使用多少内存,这就是资源限额。 资源类型:

requests

requests用于schedule阶段,在调度pod保证所有pod的requests总和小于node能提供的计算能力 requests.cpu被转成docker的--cpu-shares参数,与cgroup cpu.shares功能相同 设置容器的cpu的相对权重 该参数在CPU资源不足时生效,根据容器requests.cpu的比例来分配cpu资源 CPU资源充足时,requests.cpu不会限制container占用的最大值,container可以独占CPU requests.memory没有对应的docker参数,作为k8s调度依据 使用requests来设置各容器需要的最小资源


limits

limits限制运行时容器占用的资源 limits.cpu会被转换成docker的–cpu-quota参数。与cgroup cpu.cfs_quota_us功能相同 限制容器的最大CPU使用率 cpu.cfs_quota_us参数与cpu.cfs_period_us结合使用,后者设置时间周期 k8s将docker的–cpu-period参数设置100毫秒。对应着cgroup的cpu.cfs_period_us limits.cpu的单位使用m,千分之一核 limits.memory会被转换成docker的–memory参数。用来限制容器使用的最大内存 当容器申请内存超过limits时会被终止




相关文章

开源大数据集群部署(九)Ranger审计日志集成(solr)

开源大数据集群部署(九)Ranger审计日志集成(solr)

1、下载solr安装包并解压包tar -xzvf solr-8.11.2.gzcd solr-8.11.2执行安装脚本./bin/install_solr_service.sh /opt/solr-8...

MySQL 创建索引报错

创建索引报错添加索引发现报错,具体报错如下:create unique index sm_sample_clothing_skc_SkcUniqueKey_uindex on sm_sample_cl...

MySQL系统空间上涨

MySQL系统空间上涨

系统空间上涨一、介绍MySQL 的 ibdata1 是一个用来构建 innodb 系统表空间的文件。该文件包含了 undo ,还包含在用户在系统表空间创建的表信息和索引数据。一般如果数据空间均为独立表...

Ranger-hase插件部署

Ranger-hase插件部署

解压插件tar -zxf  ranger-2.3.0-hbase-plugin.tar.gz -C /opt修改配置vi install.properties 内容如下:POLICY_MGR_URL=...

flink应用场景分析

•       Flink适合场景:•       实时数据流处理,对实时的海量...

trino组件对接hudi(四)

trino组件对接hudi(四)

安装部署本文是基于已经部署了trino组件的环境上,进行的trino和hudi的对接,使trino组件能够正常查询hudi表。1、增加hudi connector配置在trino安装部署下的etc/c...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。