Prometheus 的 rate()、irate()、increase() 到底怎么选
技术教程 · 可观测性 · 监控指标 · 2026-11-07
Prometheus 的 rate()、irate()、increase() 到底怎么选
一句话开头
面板上的 QPS 曲线一到低峰就断成一段一段,告警一会儿 firing 一会儿 resolved,翻来覆去改阈值也没用——八成是把 irate() 用在了告警上,或者 rate() 的窗口给得比采集间隔还短。
前置准备
-
一个能访问的 Prometheus,http://localhost:9090 能打开就够
-
目标上有一个 counter 指标(比如 http_requests_total),gauge 不适用本文
-
知道你的 scrape_interval,默认是 15s,藏在 prometheus.yml 的 global 段里
步骤 1:先分清 counter 和 gauge,这一步搞错后面全白搭
rate() / irate() / increase() 只能用在 counter 上(值只增不减的累计量,比如请求总数、磁盘读字节数)。gauge(当前内存占用、温度、副本数)拿去做 rate 不会报错,但会算出毫无意义的数字。
-
counter → rate() / irate() / increase()
-
gauge → 用原始值,或者 delta()(窗口内差值)、deriv()(每秒变化率)
判断方法:指标名一般以 _total、_count、_sum、_bytes_total 结尾;拿不准就去 /metrics 看有没有 # TYPE xxx counter。
步骤 2:曲线和告警用 rate()
# 每秒请求数,5 分钟窗口平均
rate(http_requests_total[5m])
# 按服务聚合
sum by (service) (rate(http_requests_total[5m]))
# 5xx 占比
sum(rate(http_requests_total{status=~"5.."}[5m]))
/ sum(rate(http_requests_total[5m]))
rate() 的做法是:取窗口内第一个点和最后一个点,算出斜率,再外推到整个窗口边界,最后换算成「每秒」。所以它平滑、稳定、单位永远是 1/s,适合画图和告警。
窗口长度有硬要求:窗口内至少要有 2 个采样点,否则这条序列直接从结果里消失(表现出来就是曲线断开、[] 空结果)。实践上按 scrape_interval 的 4 倍起步:15s 采集就用 [1m] 打底,[5m] 最通用。
命令行验证一条查询:
curl -sG 'http://localhost:9090/api/v1/query' \
--data-urlencode 'query=sum(rate(http_requests_total[5m]))'
步骤 3:要「总量」用 increase()
# 过去 1 小时一共处理了多少请求
increase(http_requests_total[1h])
# 过去 24 小时各租户的调用量(计费/配额场景)
sum by (tenant) (increase(api_calls_total[24h]))
increase() 和 rate() 是同一个算法,只差一个单位换算:increase(x[5m]) 等于 rate(x[5m]) * 300。窗口多少秒,就乘多少。
两个反直觉的地方:
- 返回值可能是小数。因为外推,整型计数器也可能算出 2.5883 这种数。要整数就套一层 ceil() 或 floor(),别以为是数据坏了。
- 别拿 increase() 画时间序列图。它算的是「窗口内总量」,曲线会随窗口长度整体抬升,看起来像业务暴涨。图用 rate,单值面板(Stat / 大数字)用 increase。
步骤 4:irate() 只给排障看,不进告警
# 只看最后两个采样点之间的瞬时速率
irate(http_requests_total[5m])
irate() 只取窗口内最后两个点,反应极快,但也极抖。Prometheus 官方文档写得很直白:irate 只应该在画剧烈波动的快速计数器时用,告警和慢速计数器用 rate。
原因是告警规则里的 for: 要求条件持续满足一段时间才 firing。irate() 每次抖动都可能让条件瞬间不成立,for 计时被重置,于是永远攒不满——这就是「告警一直在 pending,就是不响」的经典原因。
常见坑 / 注意
-
计数器重置不会被当成下跌,但会丢一段增量。进程重启后 counter 归零,三个函数都能识别并自动补偿。但「最后一次采集之后、重启之前」那部分增量是永久丢失的,没法找回。所以重启越频繁,统计数据越偏低。
-
窗口太短 → 图断线。rate(x[30s]) 配 15s 采集间隔,窗口里经常只有 1 个点,结果直接消失。(作者补充)线上真遇到过:某套集群 scrape_interval 被调成 30s,看板里还留着 rate(x[1m]),白天看着正常,一到低峰就一片空白,查了半天以为是服务挂了。
-
Grafana 里别手写窗口。用内置变量 $__rate_interval,它会根据采集间隔和面板时间范围自动选一个合理的值,比写死 [5m] 稳得多。
-
想验证重置次数,直接查 resets(http_requests_total[1h]),能看出这个 Pod 一小时内重启了几次。
一句话总结
画图和告警用 rate()(窗口给到采集间隔的 4 倍),要窗口内总量用 increase()(记得可能有小数),irate() 只在排障时放大看瞬时;三者都只对 counter 有效。