存储告警不用再半夜起了:pvc-autoresizer 让 PVC 自己长大

技术教程 · K8s · 存储 · 2026-11-03

存储告警不用再半夜起了:pvc-autoresizer 让 PVC 自己长大

那个凌晨三点的告警

上个月一个客户的测试集群,凌晨三点钉钉响:某个业务 Pod 的日志盘写满了,应用直接卡死。我远程上去看,PVC 申请的是 20Gi,需求已经 20Gi,avail 剩 0。典型的手给少了。

手动救火流程大家都很熟:改 PVC 的 spec.resources.requests.storage,等 CSI 扩容,进 Pod 确认文件系统真的扩了,再改回去。护栏情况下还要重启挂载的 Pod 才能生效。整个过程 10 分钟能搞定,但问题是——为什么这件事要人来判断?

存储的"用量增长"其实是最可预测的一类指标。磁盘不会像 CPU 那样突发尖刺,它是一条缓慢上扬的直线。只要有一条规则:当可用空间低于某个阈值,且没超过硬上限,就自动加一档。这条规则完全可以交给控制器。

pvc-autoresizer 就是干这件事的。TopoLVM 团队出品,Apache-2.0,419 stars,最近 release v0.21.2(2026-10),支持 K8s 1.34 / 1.35 / 1.36。名字朴素,做的事也很朴素,但它是那种"装上之后你会忘记它存在"的工具,这恰好是基础设施该有的样子。

它的工作方式:只做三件事

原理很简单:控制器每 10 秒(--interval)跑一轮循环,从 Prometheus 查 kubelet_volume_stats_available_bytes / capacity_bytes / inodes_free / inodes 四个指标,跟 PVC 上的注解配置比一下,该涨就 patch PVC。

只做三件事:

  1. 按利用率扩容 —— 可用空间低于阈值就加一档
  2. 卡硬上限 —— 永远不超过 storage_limit,到顶了打指标告警而不是无限涨
  3. 新 PVC 对齐 —— 同组的新 PVC 直接按组里最大容量创建

能力一:按利用率自动扩容

这是核心。控制器认三块地方:StorageClass 上一个开关、PVC 上一个上限、可选三个调参注解。

StorageClass 必须先开 allowVolumeExpansion: true(CSI 驱动支持 VolumeExpansion 才有意义),再打上开关注解:

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: topolvm-provisioner
  annotations:
    resize.topolvm.io/enabled: "true"
provisioner: topolvm.io
allowVolumeExpansion: true

注解这层设计我很喜欢——开关放在 StorageClass 而不是全局,意味着你可以只对「日志盘、数据盘」这类该自动涨的卷开启,而让 etcd 那种必须人工确认的卷保持手动。生产环境非常需要这个粒度。

PVC 这边最少要一个上限:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: app-logs
  namespace: default
  annotations:
    resize.topolvm.io/storage_limit: 100Gi
spec:
  accessModes: [ReadWriteOnce]
  volumeMode: Filesystem
  resources:
    requests:
      storage: 30Gi
  storageClassName: topolvm-provisioner

storage_limit 是必填的,值为 0 会被直接忽略——这个设计逼你想清楚"最大能接受多少",比那种默认无限扩容的工具稳。

要更细的控制就加三个可选注解,默认都是 10%:

  annotations:
    resize.topolvm.io/storage_limit: 100Gi
    resize.topolvm.io/threshold: 20%            # 可用空间低于 20% 触发
    resize.topolvm.io/inodes-threshold: 20%     # 可用 inode 低于 20% 触发
    resize.topolvm.io/increase: 20Gi            # 每次加 20Gi(也支持百分比)

两个细节值得说:threshold 和 increase 是两条独立的触发路径——可用字节低于阈值 或 可用 inode 低于阈值,任一条满足就扩。inode 这条线救过不少人:磁盘还有空间但小文件写满了,df 看着健康,df -i 已经 100%。

increase 给百分比时,基准是当前 spec.resources.requests.storage,不是实际容量。实际写入的新值还会向上对齐到 GiB 边界(源码里是 ceil((cap+increase)/1Gi)*1Gi),避免出现 30.7Gi 这种奇怪数字。

一个真实收益:我那个写满日志盘的客户,把 30Gi 起步、100Gi 上限的规则加上,三个月里这个 PVC 自己从 30Gi 长到 60Gi,两次扩容都是凌晨低峰期自动完成,一次告警都没有。

能力二:到顶了就报警,不硬撑

storage_limit 到顶后控制器不会报错重试,而是把 pvcautoresizer_limit_reached_total 计数器 +1,打一条 volume storage limit reached 日志,然后安静停下。

这个行为配合告警规则用最舒服:

- alert: PVCResizeLimitReached
  expr: increase(pvcautoresizer_limit_reached_total[1h]) > 0
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "PVC {{ $labels.exported_namespace }}/{{ $labels.exported_pvc }} 已达扩容上限,需要人工决策"

这时候该做的不是调大上限,而是回头看看是不是数据清理策略有问题——自动扩容最怕的就是把"业务缺陷"变成"账单增长",storage_limit 就是这个保险丝。

另外两个指标也建议一起接:pvcautoresizer_failed_resize_total(扩容失败,通常是 CSI 侧问题)和 pvcautoresizer_metrics_client_fail_total(查不到指标,通常是 Prometheus 挂了或查询超时)。

能力三:新 PVC 按组对齐,省掉一轮扩容

这个功能是 v0.14 之后加的,很多人不知道。场景是 StatefulSet 扩副本:老 PVC 已经自动长到 60Gi,新副本按模板创建还是 30Gi,于是新 Pod 一上来就开始走"扩容流程",而且可能因为初始容量小又触发一次扩容。

用 initial-resize-group-by 注解,指定按哪个 label 分组,新 PVC 创建时会直接对齐到组内最大值:

kind: PersistentVolumeClaim
metadata:
  name: data-app-3
  labels:
    app: mysql
  annotations:
    resize.topolvm.io/initial-resize-group-by: app
    resize.topolvm.io/storage_limit: 200Gi
spec:
  resources:
    requests:
      storage: 30Gi

组内已有 PVC 最大 60Gi,那这个新 PVC 实际创建出来就是 60Gi;如果模板写的比组内最大值还大(比如 80Gi),就按 80Gi 创建。这个靠一个 PVC Mutating Webhook 实现(chart 里 webhook.pvcMutatingWebhook.enabled,默认开),也是为什么装的时候会创建 webhook 证书。

安装:一条 helm 命令

前提是你有 Prometheus 在抓 kubelet 指标(kubelet_volume_stats_* 是 kubelet 暴露的,绝大多数标准部署都有)。

helm repo add pvc-autoresizer https://topolvm.github.io/pvc-autoresizer/
helm repo update

helm install --create-namespace --namespace pvc-autoresizer \
  pvc-autoresizer pvc-autoresizer/pvc-autoresizer \
  --set "controller.args.prometheusURL=http://prometheus-k8s.monitoring.svc:9090" \
  --set "controller.args.interval=30s"

没有 Prometheus 也能跑,用集群 Metrics API:

helm install --create-namespace --namespace pvc-autoresizer \
  pvc-autoresizer pvc-autoresizer/pvc-autoresizer \
  --set "controller.args.useK8sMetricsApi=true"

但大集群别这么干。README 自己写明了:走 Metrics API 会给 kube-apiserver 加压,节点/卷规模上去之后建议回到 Prometheus。我个人的判断线是:PVC 数量过百就别用 Metrics API 了。

几个默认值注意一下:controller.replicas: 2(有 PDB,HA 友好)、controller.resources 只有 100m CPU / 20Mi 内存——这个控制器本身开销极小,几乎可以忽略。我习惯把 interval 从 10s 放到 30s,因为磁盘增长不是秒级事件,30 秒一轮对 Prometheus 更友好。

想限定只监控某些命名空间,加 controller.args.namespaces:

--set "controller.args.namespaces={prod,data}"

端到端走一遍

装完之后先验证控制器活着:

kubectl -n pvc-autoresizer get pods
kubectl -n pvc-autoresizer logs deploy/pvc-autoresizer | tail -20

造一个测试 PVC,阈值故意调高到 80% 方便触发:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: pvca-demo
  namespace: default
  annotations:
    resize.topolvm.io/storage_limit: 10Gi
    resize.topolvm.io/threshold: 80%
    resize.topolvm.io/increase: 2Gi
spec:
  accessModes: [ReadWriteOnce]
  volumeMode: Filesystem
  resources:
    requests:
      storage: 1Gi
  storageClassName: topolvm-provisioner

挂到一个 Pod 里写数据:

kubectl run pvca-filler --image=busybox --restart=Never \
  --overrides='{"spec":{"containers":[{"name":"filler","image":"busybox","command":["sh","-c","dd if=/dev/zero of=/data/fill bs=1M count=900; sleep 3600"],"volumeMounts":[{"name":"d","mountPath":"/data"}]}],"volumes":[{"name":"d","persistentVolumeClaim":{"claimName":"pvca-demo"}}]}}'

写满 900Mi(1Gi 的 88%)后,30 秒内应该看到:

kubectl get pvc pvca-demo -w
# NAME        STATUS   VOLUME    CAPACITY   ACCESS MODES   STORAGECLASS
# pvca-demo   Bound    pvc-xxx   1Gi        RWO            topolvm-provisioner
# pvca-demo   Bound    pvc-xxx   2Gi        RWO            topolvm-provisioner

同时 PVC 上会多一个 resize.topolvm.io/pre_capacity_bytes 注解,事件里能看到:

kubectl describe pvc pvca-demo | grep -A2 Events
# Normal  Resized  pvc-autoresizer  PVC volume is resized to 2Gi

还有个细节:控制器对没有 Pod 挂载的 PVC 是拿不到指标的。kubelet 只对已挂载的卷导出 volume_stats,所以缩容到 0 副本的 StatefulSet 的 PVC 会被跳过,日志里是一条 failed to get volume stats(Info 级别,不计入失败)。这不是 bug,是 kubelet 侧的事实,但排查时不了解会以为是权限问题——我在这个点上浪费过半小时。

五个必须知道的坑

  1. 只能涨不能缩。 这是 K8s 的硬限制,不是工具的问题。所以 storage_limit 和 increase 定得保守一点,一次加太多收不回来。我的经验:increase 用百分比(10%~20%)比用固定值好,小盘不会一次涨太猛。

  2. StorageClass 忘了开 allowVolumeExpansion。 控制器会正常 patch PVC,但 CSI 不会真的扩,一直卡在 Resizing 状态。装之前先查:

kubectl get sc -o custom-columns=NAME:.metadata.name,EXPAND:.allowVolumeExpansion
  1. 部分 CSI 扩容后需要重启 Pod 才生效。 文件系统扩容一般在 NodeExpandVolume 时完成,大多数现代 CSI 不用重启;但老版本或特定驱动需要重建 Pod。上用生产前,拿一个真实驱动跑一遍端到端。

  2. inode 也会耗尽。 只配 threshold 不配 inodes-threshold,遇到小文件密集场景(日志、缓存、邮件队列)会翻车:字节还有 40%,inode 已经为 0,写不进去了。两个都配上。

  3. 它不解决"为什么涨这么快"。 自动扩容是止血带不是治疗。我见过的失控案例里,八成的根因是日志没轮转、临时文件没清理、或者某个 bug 在无限追加。把 pvcautoresizer_success_resize_total 接个周报,一个 PVC 一周涨两次以上,就该去查业务了。

用在哪儿,替代方案是什么

适合上它的场景:自建/托管 K8s 上的有状态服务(MySQL、PG、Redis 持久化、Kafka)、日志与可观测性组件(Loki、ES、Prometheus 自身)、CI 缓存盘、以及任何"容量难预估但增长线性"的 PVC。前提是 CSI 支持 VolumeExpansion + NodeGetVolumeStats(TopoLVM、Ceph-CSI、EBS CSI、Longhorn 这些都支持)。

不太该用的:etcd 这类对延迟和容量都极敏感、必须人工确认的关键盘;只跑 Block volume 的场景(工具只支持 volumeMode: Filesystem);以及完全无监控体系、装了也没人看指标的集群——那属于先补监控,再谈自动化。

替代方案三条路。一是云厂商自己的方案,托管 K8s 有些提供 PVC 自动扩容能力,但通常绑定特定 CSI 和计费模型,跨云不通用。二是自己写 CronJob + Prometheus 查询 + patch PVC,逻辑二十行代码,但你得自己处理并发、失败重试、PreCapacity 防抖、webhook,写着写着就发现不如直接用。三是纯告警人工处理,团队规模小、PVC 少、能接受半夜起来的时候,其实也合理——工具的边际收益跟 PVC 数量成正比。

我的判断

这类工具的价值不在"先进",在"消除一种低级故障模式"。磁盘写满是最没有技术含量的故障,但它的发生频率和带来的损失不成比例:Pod 卡死、数据写入失败、有时还要人工恢复。把这条规则交给一个 20Mi 内存的控制器,收益比装一堆花哨的可观测性平台更直接。

pvc-autoresizer 的取舍也很清楚:注解式配置(学习成本低,但比 CRD 表达力弱)、必须配 Prometheus(多一个依赖,但也复用了现有体系)、只管扩不管缩(符合 K8s 现实)。419 stars 不算热门,但它是 TopoLVM 生态里一块很成熟的积木,v0.21 已经打磨了六年,最近两个月还有三个 release。

如果你手上有一批"当年手给少了、后来手动扩过"的 PVC,这个工具十分钟就能装好,先在一个 StorageClass 上试,把 storage_limit 定保守一点。剩下的它会自己处理。