OpenKruise 实战:K8s 原地升级、SidecarSet 与 PodUnavailableBudget
技术教程 · K8s · 集群与运维 · 2026-09-23
OpenKruise 实战:K8s 原地升级、SidecarSet 与 PodUnavailableBudget
K8s 工作负载利器:OpenKruise 原地升级、SidecarSet 与 PUB 实战
一、先说痛点
我维护的一个自建集群上跑着 3000+ 个 Pod,其中相当一部分是长连接网关和有状态中间件。用原生 Deployment 发版,最难受的不是"发得慢",而是:
- 每个 Pod 都要删掉重建,Pod IP 变了、Node 也经常换,客户端连接全部重连;
- PVC 要重新挂载,冷启动再拉一次镜像又是几十秒;
- 最离谱的是升级一个日志 sidecar,业务容器被迫跟着一起重启 —— 就因为 Deployment 的更新粒度是整个 Pod。
再加一个更隐蔽的坑:Kubernetes 原生 PDB 只能挡住通过 Eviction API 触发的驱逐(比如 kubectl drain)。当"应用在滚动升级 + 中间件团队同时在改 sidecar + HPA 又在缩容"这三件事撞在一起时,PDB 全程视而不见,业务照样掉容量。
这几个问题原生工作负载解决不了。这是我后来在集群里装 OpenKruise 的直接原因,也是我推荐它的原因。
二、OpenKruise 是什么
CNCF Incubating 项目,Apache-2.0 许可,2019 年开源,目前 5.3k stars / 923 forks,最新版 v1.8.5(2026-08-10 发布),master 分支上周还有提交。它不是要替代 Kubernetes,而是在原生 controller 旁边补一组增强控制器:
- 增强工作负载:CloneSet(无状态)、Advanced StatefulSet、Advanced DaemonSet、BroadcastJob、AdvancedCronJob
- Sidecar 管理:SidecarSet、容器启动优先级、Sidecar Job Terminator
- 运维增强:ImagePullJob 镜像预热、ContainerRecreateRequest 单容器重启、PersistentPodState IP 保持、ResourceDistribution、PodProbeMarker
- 应用保护:PodUnavailableBudget、Deletion Protection
它的 Adopters 列表里有 LinkedIn、Uber、小米、B站、OPPO、Shopee —— 基本都是有几千上万 Pod 的组织才会痛到需要这些能力。
下面挑我认为价值最高的三个讲,都是我在集群里真跑过的。
三、核心能力一:CloneSet 的原地升级
原生 Deployment 只有 Recreate(先删后建)和 RollingUpdate(滚动重建)两种,本质都是"销毁 Pod 对象再新建"。CloneSet 给的是第三种:InPlaceIfPossible —— 能原地改就原地改,改不了才退化成重建。
原地升级复用的是同一个 Pod 对象,所以 Pod 名字、UID、Node、Pod IP 全都不变,也不用重新调度、重新分配 IP、重新挂载卷。对长连接网关这类服务,这意味着发布期间连接基本不掉。
哪些改动会触发原地升级?按官方文档:
- spec.template.metadata.*(labels / annotations)
- spec.template.spec.containers[x].image
- 容器的 env valueFrom metadata.labels/annotations(v1.0 起)
- containers[x].resources(v1.8 起,需集群开启
InPlacePodVerticalScalinInPlacePodVerticalScalingloadVerticalScaling)InPlaceWorkloadVerticalScaling
反过来说,直接改 env 的 value、或者新增 env,都不会原地升级,会退化重建。这一点非常关键,后面坑里还会说。
一个最小可用的 CloneSet:
apiVersion: apps.kruise.io/v1alpha1
kind: CloneSet
metadata:
name: gateway
spec:
replicas: 5
selector:
matchLabels:
app: gateway
template:
metadata:
labels:
app: gateway
annotations:
app-config: "v1" # 通过 annotation 承载配置
spec:
containers:
- name: gateway
image: registry.example.com/gateway:v1
env:
- name: APP_CONFIG
valueFrom:
fieldRef:
fieldPath: metadata.annotations['app-config']
updateStrategy:
type: InPlaceIfPossible # 关键
maxUnavailable: 1
发一个新版本,只需改镜像:
kubectl patch cloneset gateway --type merge \
-p '{"spec":{"template":{"spec":{"containers":[{"name":"gateway","image":"registry.example.com/gateway:v2"}]}}}}'
验证是否真的原地:
kubectl get pods -o wide -l app=gateway
# 观察 NAME / IP / NODE 三列在升级前后完全一致
kubectl get pod gateway-xxxxx -o jsonpath='{.metadata.annotations.apps\.kruise\.io/inplace-update-state}' | jq
apps.kruise.io/inplace-update-state 这个 annotation 是原地升级的"黑匣子":containerBatchesRecord 记录每个容器在什么时间被containerBatchesRecord 显示后续批次还要升哪些容器。升级卡住时,看这里比看 Events 快得多。nextContainerImages
如果 Pod 里有多个容器且配了启动优先级(KRUISE_CONTAINER_PRIORITY),Kruise 会按优先级分批升级 —— 高优先级的 sidecar 先升完并 Ready,再升主容器。这个行为是自动的,不用额外配置。
CloneSet 还顺手补了 Deployment 的几个短板,我们用得比较多的是这三个:
- 支持 PVC 模板:Deployment 不能给每个 Pod 生成独享 PVC,CloneSet 的 `volumeClaimTvolumeClaimTemplates时,扩出来的新 Pod 会复用原 instance-id 和 PVC,数据不丢;
- 指定 Pod 缩容:
scaleStrategscaleStrategy.podsToDelete给 Pod 打apps.kruise.io/specified-delete: true标签,就能精确删掉想删的那几个apps.kruise.io/specified-delete: truengDelete生命周期 hook,比直接kubectl delete pod安全;maxUnavailablePreparingDeletekubectl delete pod - 流式扩容:扩容时用
scaleStscaleStrategy.maxUnavailable: 1minReadySeconds`,避免一次性拉起几百个 Pod 把节点打爆。minReadySeconds
spec:
replicas: 4
scaleStrategy:
maxUnavailable: 1 # 扩容也限流,别一次拉爆节点
podsToDelete:
- gateway-5f4x2 # 精确删除指定 Pod
四、核心能力二:SidecarSet 让 sidecar 独立于业务
日志采集、监控 agent、mesh sidecar 这类容器,生命周期本该和业务解耦。原生做法是往每个 Deployment 的 template 里塞容器定义,升级一次 sidecar 就要动几十个业务 workload,还得全量重建 Pod。
SidecarSet 通过 admission webhook 自动注入,并且支持对已注入的 sidecar 做原地升级,业务容器不重启:
apiVersion: apps.kruise.io/v1beta1
kind: SidecarSet
metadata:
name: log-agent
spec:
selector:
matchLabels:
app.kubernetes.io/managed: "true"
updateStrategy:
type: RollingUpdate
maxUnavailable: 10%
containers:
- name: log-agent
image: registry.example.com/log-agent:1.9.0
volumeMounts:
- name: varlog
mountPath: /var/log
volumes:
- name: varlog
hostPath:
path: /var/log
创建后,任何匹配 selector 的 Pod 都会被注入 log-agent。改 SidecarSet 里的镜像版本,kruise 会原地把 sidecar 容器升级,kubectl describe pod 里能看到 Container sikubectl describe podged, will be restarted,但业务容器的 RESTARTS 计数保持不变。Container sidecar1 definition changed, will be restartedRESTARTS
我们用它统一管理日志采集组件,几百个业务 workload 一行代码没改,agent 从 1.8 升到 1.9 只花了十几分钟,业务零感知。
五、核心能力三:PodUnavailableBudget 补上 PDB 的盲区
PDB 走 Eviction API,Kruise 的 PUB 走 Pod Validating Webhook 拦截,覆盖的操作类型包括 DELETE、EVICT、UPDATE(原地更新),v1.9 起还能 RESIZE(原地变配)。也就是说 —— 别人正在原地升级你的 Pod 时,PUB 也拦得住。别人正在原地升级你的 Pod 时,PUB 也拦得住
apiVersion: policy.kruise.io/v1alpha1
kind: PodUnavailableBudget
metadata:
name: gateway-pub
namespace: prod
spec:
targetRef:
apiVersion: apps.kruise.io/v1alpha1
kind: CloneSet
name: gateway
maxUnavailable: 30%
它包含 PDB 的全部能力,所以可以直接用 PUB 替代 PDB,也可以两者并存。注意 PUB 默认是关闭的,要显式打开 feature-gate:
helm upgrade kruise openkruise/kruise --version 1.9.0 \
--set featureGates="PodUnavailableBudgetDeleteGate=true\,PodUnavailableBudgetUpdateGate=true"
六、安装部署
兼容性先确认:kruise 1.6+ 要求 Kubernetes >= 1.18;按官方对照表,kruise 1.8.x 对 K8s 1.30 完全对齐,1.9.x 对 K8s 1.32 完全对齐。我们的生产集群是 1.30,装 1.8.x 最稳。
helm repo add openkruise https://openkruise.github.io/charts/
helm repo update
helm install kruise openkruise/kruise \
--version 1.8.5 \
--namespace kruise-system --create-namespace \
--set manager.replicas=2 \
--set featureGates="PreDownloadImageForInPlaceUpdate=true\,PodUnavailableBudgetDeleteGate=true\,PodUnavailableBudgetUpdateGate=true"
装完会有两个组件:kruise-manager(Deployment,2 副本)和 kruise-daemon(DaemonSetkruise-daemon级操作)。1.7.3 之后 Helm 卸载带了 pre-delete hook,如果集群里还有 Kruise CR 会阻塞卸载,防止误删。
七、实战:从发版到验证,走一遍
以 gateway 服务 5 副本为例:
# 1. 发布前先确认当前 IP 分布
kubectl get pods -o wide -l app=gateway
# NAME IP NODE
# gateway-5f4x2 10.244.3.11 node-03
# ...
# 2. 打开镜像预热(Optional,正式环境建议开)
cat <<'EOF' | kubectl apply -f -
apiVersion: apps.kruise.io/v1alpha1
kind: ImagePullJob
metadata:
name: gateway-v2-prewarm
spec:
image: registry.example.com/gateway:v2
parallelism: 5
completionPolicy:
type: Always
selector:
names: ["node-01","node-02","node-03"]
EOF
# 3. 触发原地升级
kubectl set image cloneset/gateway gateway=registry.example.com/gateway:v2
# 4. 看升级类型和状态
kubectl get cloneset gateway -o wide
kubectl get pods -l app=gateway \
-o custom-columns='NAME:.metadata.name,IP:.status.podIP,NODE:.spec.nodeName,IMAGE:.spec.containers[0].image'
输出里会看到:Pod 名字、IP、Node 全部不变,IMAGE 已经是 v2。对比之下,Deployment 走同样的流程,IP 和 Node 都会洗一遍。
日常运维还有一个高频动作:只想重启 Pod 里的某一个容器(比如 JVM 内存泄漏要重启主容器,但不想动日志 sidecar)。原生只能整个 Pod 重建,Kruise 的 ContainerRecreateRequest 可以精确到容器:
kubectl get pod gateway-5f4x2 -o yaml | kubectl apply -f - <<'EOF'
apiVersion: apps.kruise.io/v1alpha1
kind: ContainerRecreateRequest
metadata:
name: gateway-restart-main
namespace: prod
spec:
podName: gateway-5f4x2
containers: [gateway]
strategy:
failurePolicy: Fail
ttlSecondsAfterFinished: 300
EOF
执行后 Pod 和 sidecar 完全不动,只有 gateway 容器重启,RESTARTS 计数 +1。排查线上问题时这个命令省下的是“先缩RESTARTS。
我们做过一次粗略对比:同一个 5 副本服务,Deployment 全量滚动 + 镜像冷拉,发布耗时约 3 分 20 秒,期间连接重连率 100%;换成 CloneSet 原地升级 + ImagePullJob 预热,发布耗时 50 秒左右,网关侧连接基本无中断。对有状态服务,差别只会更大。
八、注意事项 / 常见坑
-
改
env的 value 会退化成重建升级。 只有 `env valueFrom metadata.labels/aenv valueFrom metadata.labels/annotationsod 的 label/annotation 上,而不是直接写死不动的 env。这是最容易踩的坑。 -
volumeClaimTemplates变动默认不触发升级。 从 v1.7 起,如果只改 volumeClaimTemplates,CloneSet 不会动;image 和 volumeClaimTemplates 同时改,会原地升级但卷不会重建,新容量不生效。需要打开 `RecreatePodWhenChangeVCTInCloneSetGate=RecreatePodWhenChangeVCTInCloneSetGate=true -
KruiseDaemon=false会一次性砍掉一堆能力。 镜像预热(ImagePullJob)和 ContainerRecreateRequest 都依赖 kruise-daemon。如果有人为了"少装一个 DaemonSet"把它关了,后面加这些功能会一脸问号。 -
PUB 的两个 feature-gate 默认关闭。 装完发现 PUB 不生效,八成是这个原因。
-
SidecarSet 的 initContainer 只支持注入,不支持原地升级。
九、适用场景与替代方案
适合上 OpenKruise 的信号:
- Pod 数量上千,发布时"重建风暴"明显拖慢整体可用性;
- 有长连接 / 有状态 / 需要保持 IP 的服务;
- sidecar(日志、监控、mesh)需要统一版本管理;
- 多集群、多机型(x86/arm)、多可用区的编排需求(UnitedDeployment、WorkloadSpread)。
替代方案比对:
- 只需要灰度/渐进发布 → Argo Rollouts 或 Kruise Rollouts 更对路,两者可以一起用;
- 只需要原地改 sidecar → 部分 mesh 方案自带,但通用性不如 SidecarSet;
- 业务简单、Pod 数量不大 → 原生 Deployment + StatefulSet 完全够用,别为了用而用。
十、收尾
OpenKruise 不是一个"装了立刻变快"的工具,它是一组针对超大规模 K8s 场景的补丁。原地升级是我们收益最大的一块:发布更稳、更快,连接的抖动肉眼可见地减少;SidecarSet 把 sidecar 版本管理从"改几十个 workload"变成了"改一个对象";PUB 则是那个"迟早会在故障复盘里被想起来的防护"。
我的建议是:先在一两个非核心、Pod 数比较多的服务上试 CloneSet + 原地升级,把 inplace-update-state 摸熟,再考虑 SidecarSet 和 PUB。坑不多,但上面那五个一定要提前知道。顺手给 repo 点个 star —— 这类基础设施项目,社区活跃度就是它的续航。