Pod 资源利用率计算

琉璃2年前技术文章4678

Pod CPU使用率

即在过去的一段时间里进程占用的CPU时间与CPU总时间的比率,如果有多个CPU或者多核,需要将每个CPU的时间相加。

container_cpu_usage_seconds_total是container累计使用的CPU时间,用它除以CPU的总时间,就得到了容器的CPU使用率。

Pod 在1s内累计使用的CPU时间为:

sum(rate(container_cpu_usage_seconds_total(image!=""][1m])) by (pod_name, namespace)

container_spec_cpu_quota 是容器的CPU配额,它的值是:为容器指定的CPU个数*100000。

故,Pod在1s内CPU的总时间为:Pod的CPU核数*1s:

(sum(container_spec_cpu_quota(image!="")/100000) by (pod_name, namespace))

将上面两个公式的结果相除,就得到了容器的CPU使用率:

sum(rate(container_cpu_usage_seconds_total(imagel=")[1m])) by (pod_name, namespace) / (sum(container_spec_cpu_quota(image!="")/100000) by (pod_name, namespace)


Pod 内存使用率

直接用内存实际使用量除以内存限制使用量即可

sum(container_memory_rss(image!-"")) by(pod_name, namespace) / sum(container_spec_memory_limit_bytes(image!-"")) by(pod_name, namespace) * 100 != +inf



Pod文件系统使用量

sum(container_fs_usage_bytes(image!=""]) by(pod_name, namespace) / 1024 / 1024 / 1024


requests和limit值解释

资源限制内部机制使用的是cgroup类型 目录: /sys/fs/cgroup/systemd

k8s采用request和limit两种限制类型来对资源进行分配

request(资源需求):即运行pod的节点必须满足运行pod的最基本需求才能运行pod。

limit(资源限制):即运行pod期间,可能内存使用量会增加,那最多能使用多少内存,这就是资源限额。 资源类型:

requests

requests用于schedule阶段,在调度pod保证所有pod的requests总和小于node能提供的计算能力 requests.cpu被转成docker的--cpu-shares参数,与cgroup cpu.shares功能相同 设置容器的cpu的相对权重 该参数在CPU资源不足时生效,根据容器requests.cpu的比例来分配cpu资源 CPU资源充足时,requests.cpu不会限制container占用的最大值,container可以独占CPU requests.memory没有对应的docker参数,作为k8s调度依据 使用requests来设置各容器需要的最小资源


limits

limits限制运行时容器占用的资源 limits.cpu会被转换成docker的–cpu-quota参数。与cgroup cpu.cfs_quota_us功能相同 限制容器的最大CPU使用率 cpu.cfs_quota_us参数与cpu.cfs_period_us结合使用,后者设置时间周期 k8s将docker的–cpu-period参数设置100毫秒。对应着cgroup的cpu.cfs_period_us limits.cpu的单位使用m,千分之一核 limits.memory会被转换成docker的–memory参数。用来限制容器使用的最大内存 当容器申请内存超过limits时会被终止




相关文章

MySQL Group Replication(二)监控篇

MySQL Group Replication(二)监控篇

说明组复制搭建成功后,为保证其正常运行,用户需要对组复制进行监控。MySQL 的 performance_schema 库中提供一些表,用于监控组复制的复制过程。[performance_schema...

远程DEBUG HADOOP源码方法

远程DEBUG HADOOP源码方法

1. 安装IDEA2. 下载hadoop源码,必须与集群服务代码版本一致,否则会导致有的类无法找到3. 将源码导入IDEA工程并完成build4. 点击 菜单栏--运行--编辑配置 进行相关debug...

Hbase压缩算法

HBase包含两类压缩机制:DataBlockEncode前缀压缩和文件级别的压缩Compress。对于DataBlockEncode前缀压缩,提供了三种算法:PREFIX\DIFF\FAST_DIF...

Hadoop3.2.4纠删码实操(三)

Hadoop3.2.4纠删码实操(三)

1、纠删码实操1.在HDFS中建立以下三个目录,并都设置为XOR-2-1-1024k策略。[root@hd2 hadoop]# hadoop fs -mkdir /ec_xor_s SLF4J: C...

等待事件latch: cache buffers chains 的分析与优化

等待事件latch: cache buffers chains 的分析与优化

等待事件latch: cache buffers chains 的分析与优化要理解latch: cache buffers chains并解决这个问题,就需要深入的了解Buffer Cach...

flink单task多slot调优

flink单task多slot调优

1. 单taskmanager多slot的设置方法方式一:在配置文件中配置taskmanager.numberOfTaskSlots,通过修改提交任务的客户端配置文件中的配置flink-co...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。