PVC 一直 Terminating 删不掉?3 步定位并安全删除
技术教程 · K8s · 存储 · 2026-11-05
PVC 一直 Terminating 删不掉?3 步定位并安全删除
一句话开头
删一个不用的 PVC,kubectl delete pvc 敲下去回车,十分钟过去它还挂着 Terminating——这不是 kubectl 卡了,也不是集群抽风,是 Kubernetes 在拦你,怕你把还在被 Pod 用着的数据卷直接拔掉。
前置准备
-
kubectl 能连上集群,且有 get/patch PVC、PV、VolumeAttachment 的权限
-
知道 PVC 名字和命名空间(kubectl get pvc -A)
-
确认这份数据确实可以丢,或者已经备份过。回收策略是 Delete 时,删掉 PVC 等于删掉底层云盘,找不回来
先看一眼它现在什么状态:
kubectl get pvc <pvc-name> -n <namespace>
kubectl describe pvc <pvc-name> -n <namespace>
describe 输出里重点看两处:Used By(哪个 Pod 还挂着它)和 Finalizers(是不是 kubernetes.io/pvc-protection 在挡路)。后者是 Storage Object in Use Protection 机制加的,只要还有 Pod 对象引用这个 PVC,它就不会被摘掉。
步骤 1:找出还在用这个 PVC 的 Pod
不要靠 describe 里的 Used By 猜,直接全集群扫一遍最准:
kubectl get pods -A -o json | jq -r '
.items[] | select(((.spec.volumes // [])[]?.persistentVolumeClaim.claimName) == "<pvc-name>")
| "\(.metadata.namespace)/\(.metadata.name)"'
同时把底层挂载关系也确认一下:
kubectl get volumeattachment | grep <pv-name>
volumeattachment 里如果还有记录,说明卷在节点上还没卸干净。这时候删 PVC,控制器会一直等卸载完成,PVC 就永远停在 Terminating。
步骤 2:把工作负载停下来
找到使用者之后,按属主类型处理:
# StatefulSet
kubectl scale statefulset <sts-name> -n <namespace> --replicas=0
# Deployment
kubectl scale deployment <deploy-name> -n <namespace> --replicas=0
等 Pod 真正消失,再回头看 PVC:
kubectl get pods -n <namespace> | grep <pvc-name>
kubectl get volumeattachment | grep <pv-name>
kubectl get pvc <pvc-name> -n <namespace>
大多数情况到这一步 PVC 就自己删掉了。 如果没删,再进步骤 3。
如果 volumeattachment 一直不走,先看节点:kubectl get nodes。节点 NotReady 时 kubelet 不再回报,卷卸不下来,PVC 就会被无限期挂住——这时候是修节点的事,不是删 PVC 的事。
步骤 3:确认后再手动摘 finalizer
前三步都做干净了、数据也确认不要了,才动 finalizer:
# 先看当前 finalizer 列表
kubectl get pvc <pvc-name> -n <namespace> -o jsonpath='{.metadata.finalizers}'
# 摘掉它
kubectl patch pvc <pvc-name> -n <namespace> -p '{"metadata":{"finalizers":null}}'
# 确认已消失
kubectl get pvc <pvc-name> -n <namespace>
返回 NotFound 就是删干净了。最后才是强制删除这一招,只在对象彻底卡死、且你百分百确认存储后端能自己回收时用:
kubectl delete pvc <pvc-name> -n <namespace> --grace-period=0 --force
⚠️ --force 绕过了所有安全检查,可能留下孤儿云盘或残留挂载点,能用前面几步解决就别用它。
收尾:确认没留下孤儿 PV
PVC 删掉之后再看一眼 PV,别让盘白挂在那儿烧钱:
kubectl get pv | grep -E 'Released|Available|Failed'
kubectl get volumeattachment
-
Released:回收策略是 Retain,数据还在但已无人认领,确认不要了再 kubectl delete pv
-
Available:已经释放,可以给新 PVC 复用,不用管
-
Failed:回收失败,八成是 CSI controller 出错,去看它的日志
顺手核一下云账单上的盘数对不对,尤其是这轮用过 --force 的。
常见坑
-
反着来:先删 PV 再删 PVC。 PV 被绑定时带着 kubernetes.io/pv-protection(CSI 卷还有 external-provisioner.volume.kubernetes.io/finalizer),你删 PV 它一样卡 Terminating。正确顺序永远是先摘使用者、再删 PVC、最后处理 PV。
-
回收策略没看就删。 动态供给的 PV 默认继承 StorageClass 的 Delete,删 PVC 就直接删盘。要保数据先改策略:
kubectl patch pv <pv-name> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'
改完再删 PVC,PV 会进入 Released,数据还在,之后手动清 claimRef 就能重新绑定。
- CSI controller 挂了。 attach/detach 是 csi-attacher、csi-provisioner 这些 sidecar 在做,它们所在的 controller Pod(比如 ebs-csi-controller)起不来时,卷既挂不上也卸不掉。看一眼控制器日志比反复删 PVC 有用得多:
kubectl logs -n kube-system deploy/ebs-csi-controller -c csi-attacher --tail=100
-
以为删 StatefulSet 就删了存储。 StatefulSet 通过 volumeClaimTemplates 创建的 PVC 不会随着 StatefulSet 删除而删除,这是故意设计的。要清存储得手动删 PVC。
-
(作者补充) 遇到过节点异常下线后重装系统,节点对象还在但 kubelet 没了,volumeattachment 死死挂着,PVC 怎么都删不掉。最后是恢复节点并确认 kubectl get nodes 回到 Ready,挂载关系自己就释放了——先修节点,别急着 patch finalizer。
-
(作者补充) 还有一次是 --grace-period=0 --force 强删之后 PV 变成孤儿,云上白挂了几个月盘。强删前先把 PV 名字记下来,事后核对账单。
一句话总结
PVC 卡在 Terminating 是保护机制在工作,不是故障:先查谁还在用(Pod + volumeattachment),把工作负载缩到 0,确认数据不要了再摘 pvc-protection finalizer,--force 永远是最后一招。