Python 实现 Prometheus 自定义指标暴露
虽然 Prometheus 已经拥有可直接使用的 exporter 可供使用，以满足收集不同的监控指标的需要。然而，如果我们需要收集一些自定义指标项，还是需要我们编写程序去暴露相关接口（/metrics）。
1、Prometheus 数据类型
1.1 Counter
计数器表示一种单调递增的指标，除非发生重置的情况下下只增不减，其样本值应该是不断增大的。例如，可以使用 Counter 类型的指标来表示服务的请求数、已完成的任务数、错误发生的次数等。
1.2 Gauge
仪表盘类型代表一种样本数据可以任意变化的指标，即可增可减。它可以理解为状态的快照，Gauge 通常用于表示 CPU 或者内存使用率这种指标数据，也可以表示能随时增加或减少的“总数”，例如当前并发请求的数量、当前空闲内存的大小等。
1.3 Histogram
Histogram 是一个对数据分布情况的图形表示，由一系列高度不等的长条图（bar）或线段表示，用于展示单个测度得知的分布。它一般用横轴表示某个指标维度的数据取值区间，用纵轴表示样本统计的频率或频数，从而能够以二维图的形式展现数值的分布状况。
1.4 Summary
与 Histogram 类型类似，摘要类型用于表示一段时间内的数据采样的结果（通常是请求持续时间或响应大小等），但它直接存储了分位数（通过客户端计算，然后展示出来），而非通过区间来计算。因此，对于分位数的计算，Summary 在通过 PromQL 进行查询时有更好的性能表现，而 Histogram 则会消耗更多的资源。反之，对于客户端而言，Histogram 消耗的资源更少。在选择这两种方式时，用户应该根据自己的实际场景选择。
2、代码实现 Prometheus 自定义指标
代码仓库：https://github.com/zhangyyhub/prom-custommonitor
本项目基于 Python 语言，prometheus_client.Counter 方法定义一个 Counter 自定义指标示例。当然你也可以基于 Gauge, Histogram, Summary 方法可自行实现对应的 Prometheus 指标类型：
Counter（计数器类型）
Gauge（仪表盘类型）
Histogram（直方图类型）
Summary（摘要类型）
2.1 环境依赖
python:3.7-slim-stretch
Flask 包
prometheus-client 包
2.2 代码实现
# -*- coding:utf-8 -*-
from flask import Flask, Response
from prometheus_client import Counter, generate_latest
app = Flask(__name__)
counter = Counter('my_counter', 'an example showed how to use counter')
@app.route('/metrics')
def hello():
counter.inc(1)
return Response(generate_latest(counter), mimetype='text/plain')
if __name__ == '__main__':
app.run(host='0.0.0.0', port=5000)2.3 构建镜像
FROM python:3.7-slim-stretch # 拷贝代码 COPY requirements.txt main.py /opt/prom-metrics/ # 安装依赖 RUN mkdir -p /opt/prom-metrics && pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 暴露端口 EXPOSE 5000 # 运行程序 ENTRYPOINT python /opt/prom-metrics/main.py
3、阿里云 ACK-Prometheus 配置服务发现
容器服务控制台 -> 运维管理 -> Prometheus 监控 -> 跳转到 Prometheus 服务 -> 配置：
默认服务发现
ServiceMonitor
PodMonitor
自定义服务发现
3.1 服务发现
本次以 PodMonitor 为例，配置服务发现：
apiVersion: monitoring.coreos.com/v1 kind: PodMonitor metadata: # 填写一个唯一名称 name: "dtstack-podmonitor" # 填写目标命名空间 namespace: dtstack #https://github.com/prometheus-operator/prometheus-operator/blob/master/Documentation/api.md#podmonitorspec spec: selector: matchLabels: # 填写pod.yaml的Label字段的值以定位目标pod app: "dtstack" namespaceSelector: # https://github.com/prometheus-operator/prometheus-operator/blob/master/Documentation/api.md#namespaceselector any: true podMetricsEndpoints: - interval: 30s # 填写pod.yaml中Prometheus Exporter对应的Port的Name字段的值 port: "dtstack-monitor" # 填写Prometheus Exporter对应的Path的值 path: /metrics
3.2 业务部署
创建业务容器（有 Prometheus 自定义指标暴露）：
3.3 访问测试
3.4 查看指标
