Prometheus 的 rate()、irate()、increase() 到底怎么选

技术教程 · 可观测性 · 监控指标 · 2026-11-07

Prometheus 的 rate()、irate()、increase() 到底怎么选

一句话开头

面板上的 QPS 曲线一到低峰就断成一段一段,告警一会儿 firing 一会儿 resolved,翻来覆去改阈值也没用——八成是把 irate() 用在了告警上,或者 rate() 的窗口给得比采集间隔还短。

前置准备

步骤 1:先分清 counter 和 gauge,这一步搞错后面全白搭

rate() / irate() / increase() 只能用在 counter 上(值只增不减的累计量,比如请求总数、磁盘读字节数)。gauge(当前内存占用、温度、副本数)拿去做 rate 不会报错,但会算出毫无意义的数字。

判断方法:指标名一般以 _total、_count、_sum、_bytes_total 结尾;拿不准就去 /metrics 看有没有 # TYPE xxx counter。

步骤 2:曲线和告警用 rate()

# 每秒请求数,5 分钟窗口平均
rate(http_requests_total[5m])

# 按服务聚合
sum by (service) (rate(http_requests_total[5m]))

# 5xx 占比
sum(rate(http_requests_total{status=~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))

rate() 的做法是:取窗口内第一个点和最后一个点,算出斜率,再外推到整个窗口边界,最后换算成「每秒」。所以它平滑、稳定、单位永远是 1/s,适合画图和告警。

窗口长度有硬要求:窗口内至少要有 2 个采样点,否则这条序列直接从结果里消失(表现出来就是曲线断开、[] 空结果)。实践上按 scrape_interval 的 4 倍起步:15s 采集就用 [1m] 打底,[5m] 最通用。

命令行验证一条查询:

curl -sG 'http://localhost:9090/api/v1/query' \
  --data-urlencode 'query=sum(rate(http_requests_total[5m]))'

步骤 3:要「总量」用 increase()

# 过去 1 小时一共处理了多少请求
increase(http_requests_total[1h])

# 过去 24 小时各租户的调用量(计费/配额场景)
sum by (tenant) (increase(api_calls_total[24h]))

increase() 和 rate() 是同一个算法,只差一个单位换算:increase(x[5m]) 等于 rate(x[5m]) * 300。窗口多少秒,就乘多少。

两个反直觉的地方:

  1. 返回值可能是小数。因为外推,整型计数器也可能算出 2.5883 这种数。要整数就套一层 ceil() 或 floor(),别以为是数据坏了。
  2. 别拿 increase() 画时间序列图。它算的是「窗口内总量」,曲线会随窗口长度整体抬升,看起来像业务暴涨。图用 rate,单值面板(Stat / 大数字)用 increase。

步骤 4:irate() 只给排障看,不进告警

# 只看最后两个采样点之间的瞬时速率
irate(http_requests_total[5m])

irate() 只取窗口内最后两个点,反应极快,但也极抖。Prometheus 官方文档写得很直白:irate 只应该在画剧烈波动的快速计数器时用,告警和慢速计数器用 rate。

原因是告警规则里的 for: 要求条件持续满足一段时间才 firing。irate() 每次抖动都可能让条件瞬间不成立,for 计时被重置,于是永远攒不满——这就是「告警一直在 pending,就是不响」的经典原因。

常见坑 / 注意

一句话总结

画图和告警用 rate()(窗口给到采集间隔的 4 倍),要窗口内总量用 increase()(记得可能有小数),irate() 只在排障时放大看瞬时;三者都只对 counter 有效。