OpenKruise 实战:K8s 原地升级、SidecarSet 与 PodUnavailableBudget

技术教程 · K8s · 集群与运维 · 2026-09-23

OpenKruise 实战:K8s 原地升级、SidecarSet 与 PodUnavailableBudget

K8s 工作负载利器:OpenKruise 原地升级、SidecarSet 与 PUB 实战

一、先说痛点

我维护的一个自建集群上跑着 3000+ 个 Pod,其中相当一部分是长连接网关和有状态中间件。用原生 Deployment 发版,最难受的不是"发得慢",而是:

再加一个更隐蔽的坑:Kubernetes 原生 PDB 只能挡住通过 Eviction API 触发的驱逐(比如 kubectl drain)。当"应用在滚动升级 + 中间件团队同时在改 sidecar + HPA 又在缩容"这三件事撞在一起时,PDB 全程视而不见,业务照样掉容量。

这几个问题原生工作负载解决不了。这是我后来在集群里装 OpenKruise 的直接原因,也是我推荐它的原因。

二、OpenKruise 是什么

CNCF Incubating 项目,Apache-2.0 许可,2019 年开源,目前 5.3k stars / 923 forks,最新版 v1.8.5(2026-08-10 发布),master 分支上周还有提交。它不是要替代 Kubernetes,而是在原生 controller 旁边补一组增强控制器:

它的 Adopters 列表里有 LinkedIn、Uber、小米、B站、OPPO、Shopee —— 基本都是有几千上万 Pod 的组织才会痛到需要这些能力。

下面挑我认为价值最高的三个讲,都是我在集群里真跑过的。

三、核心能力一:CloneSet 的原地升级

原生 Deployment 只有 Recreate(先删后建)和 RollingUpdate(滚动重建)两种,本质都是"销毁 Pod 对象再新建"。CloneSet 给的是第三种:InPlaceIfPossible —— 能原地改就原地改,改不了才退化成重建。

原地升级复用的是同一个 Pod 对象,所以 Pod 名字、UID、Node、Pod IP 全都不变,也不用重新调度、重新分配 IP、重新挂载卷。对长连接网关这类服务,这意味着发布期间连接基本不掉。

哪些改动会触发原地升级?按官方文档:

反过来说,直接改 env 的 value、或者新增 env,都不会原地升级,会退化重建。这一点非常关键,后面坑里还会说。

一个最小可用的 CloneSet:

apiVersion: apps.kruise.io/v1alpha1
kind: CloneSet
metadata:
  name: gateway
spec:
  replicas: 5
  selector:
    matchLabels:
      app: gateway
  template:
    metadata:
      labels:
        app: gateway
      annotations:
        app-config: "v1"          # 通过 annotation 承载配置
    spec:
      containers:
      - name: gateway
        image: registry.example.com/gateway:v1
        env:
        - name: APP_CONFIG
          valueFrom:
            fieldRef:
              fieldPath: metadata.annotations['app-config']
  updateStrategy:
    type: InPlaceIfPossible        # 关键
    maxUnavailable: 1

发一个新版本,只需改镜像:

kubectl patch cloneset gateway --type merge \
  -p '{"spec":{"template":{"spec":{"containers":[{"name":"gateway","image":"registry.example.com/gateway:v2"}]}}}}'

验证是否真的原地:

kubectl get pods -o wide -l app=gateway
# 观察 NAME / IP / NODE 三列在升级前后完全一致
kubectl get pod gateway-xxxxx -o jsonpath='{.metadata.annotations.apps\.kruise\.io/inplace-update-state}' | jq

apps.kruise.io/inplace-update-state 这个 annotation 是原地升级的"黑匣子":containerBatchesRecord 记录每个容器在什么时间被containerBatchesRecord 显示后续批次还要升哪些容器。升级卡住时,看这里比看 Events 快得多。nextContainerImages

如果 Pod 里有多个容器且配了启动优先级(KRUISE_CONTAINER_PRIORITY),Kruise 会按优先级分批升级 —— 高优先级的 sidecar 先升完并 Ready,再升主容器。这个行为是自动的,不用额外配置。

CloneSet 还顺手补了 Deployment 的几个短板,我们用得比较多的是这三个:

spec:
  replicas: 4
  scaleStrategy:
    maxUnavailable: 1        # 扩容也限流,别一次拉爆节点
    podsToDelete:
    - gateway-5f4x2          # 精确删除指定 Pod

四、核心能力二:SidecarSet 让 sidecar 独立于业务

日志采集、监控 agent、mesh sidecar 这类容器,生命周期本该和业务解耦。原生做法是往每个 Deployment 的 template 里塞容器定义,升级一次 sidecar 就要动几十个业务 workload,还得全量重建 Pod。

SidecarSet 通过 admission webhook 自动注入,并且支持对已注入的 sidecar 做原地升级,业务容器不重启:

apiVersion: apps.kruise.io/v1beta1
kind: SidecarSet
metadata:
  name: log-agent
spec:
  selector:
    matchLabels:
      app.kubernetes.io/managed: "true"
  updateStrategy:
    type: RollingUpdate
    maxUnavailable: 10%
  containers:
  - name: log-agent
    image: registry.example.com/log-agent:1.9.0
    volumeMounts:
    - name: varlog
      mountPath: /var/log
  volumes:
  - name: varlog
    hostPath:
      path: /var/log

创建后,任何匹配 selector 的 Pod 都会被注入 log-agent。改 SidecarSet 里的镜像版本,kruise 会原地把 sidecar 容器升级,kubectl describe pod 里能看到 Container sikubectl describe podged, will be restarted,但业务容器的 RESTARTS 计数保持不变。Container sidecar1 definition changed, will be restartedRESTARTS

我们用它统一管理日志采集组件,几百个业务 workload 一行代码没改,agent 从 1.8 升到 1.9 只花了十几分钟,业务零感知。

五、核心能力三:PodUnavailableBudget 补上 PDB 的盲区

PDB 走 Eviction API,Kruise 的 PUB 走 Pod Validating Webhook 拦截,覆盖的操作类型包括 DELETE、EVICT、UPDATE(原地更新),v1.9 起还能 RESIZE(原地变配)。也就是说 —— 别人正在原地升级你的 Pod 时,PUB 也拦得住。别人正在原地升级你的 Pod 时,PUB 也拦得住

apiVersion: policy.kruise.io/v1alpha1
kind: PodUnavailableBudget
metadata:
  name: gateway-pub
  namespace: prod
spec:
  targetRef:
    apiVersion: apps.kruise.io/v1alpha1
    kind: CloneSet
    name: gateway
  maxUnavailable: 30%

它包含 PDB 的全部能力,所以可以直接用 PUB 替代 PDB,也可以两者并存。注意 PUB 默认是关闭的,要显式打开 feature-gate:

helm upgrade kruise openkruise/kruise --version 1.9.0 \
  --set featureGates="PodUnavailableBudgetDeleteGate=true\,PodUnavailableBudgetUpdateGate=true"

六、安装部署

兼容性先确认:kruise 1.6+ 要求 Kubernetes >= 1.18;按官方对照表,kruise 1.8.x 对 K8s 1.30 完全对齐,1.9.x 对 K8s 1.32 完全对齐。我们的生产集群是 1.30,装 1.8.x 最稳。

helm repo add openkruise https://openkruise.github.io/charts/
helm repo update
helm install kruise openkruise/kruise \
  --version 1.8.5 \
  --namespace kruise-system --create-namespace \
  --set manager.replicas=2 \
  --set featureGates="PreDownloadImageForInPlaceUpdate=true\,PodUnavailableBudgetDeleteGate=true\,PodUnavailableBudgetUpdateGate=true"

装完会有两个组件:kruise-manager(Deployment,2 副本)和 kruise-daemon(DaemonSetkruise-daemon级操作)。1.7.3 之后 Helm 卸载带了 pre-delete hook,如果集群里还有 Kruise CR 会阻塞卸载,防止误删。

七、实战:从发版到验证,走一遍

以 gateway 服务 5 副本为例:

# 1. 发布前先确认当前 IP 分布
kubectl get pods -o wide -l app=gateway
# NAME                       IP            NODE
# gateway-5f4x2              10.244.3.11   node-03
# ...

# 2. 打开镜像预热(Optional,正式环境建议开)
cat <<'EOF' | kubectl apply -f -
apiVersion: apps.kruise.io/v1alpha1
kind: ImagePullJob
metadata:
  name: gateway-v2-prewarm
spec:
  image: registry.example.com/gateway:v2
  parallelism: 5
  completionPolicy:
    type: Always
  selector:
    names: ["node-01","node-02","node-03"]
EOF

# 3. 触发原地升级
kubectl set image cloneset/gateway gateway=registry.example.com/gateway:v2

# 4. 看升级类型和状态
kubectl get cloneset gateway -o wide
kubectl get pods -l app=gateway \
  -o custom-columns='NAME:.metadata.name,IP:.status.podIP,NODE:.spec.nodeName,IMAGE:.spec.containers[0].image'

输出里会看到:Pod 名字、IP、Node 全部不变,IMAGE 已经是 v2。对比之下,Deployment 走同样的流程,IP 和 Node 都会洗一遍。

日常运维还有一个高频动作:只想重启 Pod 里的某一个容器(比如 JVM 内存泄漏要重启主容器,但不想动日志 sidecar)。原生只能整个 Pod 重建,Kruise 的 ContainerRecreateRequest 可以精确到容器:

kubectl get pod gateway-5f4x2 -o yaml | kubectl apply -f - <<'EOF'
apiVersion: apps.kruise.io/v1alpha1
kind: ContainerRecreateRequest
metadata:
  name: gateway-restart-main
  namespace: prod
spec:
  podName: gateway-5f4x2
  containers: [gateway]
  strategy:
    failurePolicy: Fail
  ttlSecondsAfterFinished: 300
EOF

执行后 Pod 和 sidecar 完全不动,只有 gateway 容器重启,RESTARTS 计数 +1。排查线上问题时这个命令省下的是“先缩RESTARTS。

我们做过一次粗略对比:同一个 5 副本服务,Deployment 全量滚动 + 镜像冷拉,发布耗时约 3 分 20 秒,期间连接重连率 100%;换成 CloneSet 原地升级 + ImagePullJob 预热,发布耗时 50 秒左右,网关侧连接基本无中断。对有状态服务,差别只会更大。

八、注意事项 / 常见坑

  1. 改 env 的 value 会退化成重建升级。 只有 `env valueFrom metadata.labels/aenv valueFrom metadata.labels/annotationsod 的 label/annotation 上,而不是直接写死不动的 env。这是最容易踩的坑。

  2. volumeClaimTemplates 变动默认不触发升级。 从 v1.7 起,如果只改 volumeClaimTemplates,CloneSet 不会动;image 和 volumeClaimTemplates 同时改,会原地升级但卷不会重建,新容量不生效。需要打开 `RecreatePodWhenChangeVCTInCloneSetGate=RecreatePodWhenChangeVCTInCloneSetGate=true

  3. KruiseDaemon=false 会一次性砍掉一堆能力。 镜像预热(ImagePullJob)和 ContainerRecreateRequest 都依赖 kruise-daemon。如果有人为了"少装一个 DaemonSet"把它关了,后面加这些功能会一脸问号。

  4. PUB 的两个 feature-gate 默认关闭。 装完发现 PUB 不生效,八成是这个原因。

  5. SidecarSet 的 initContainer 只支持注入,不支持原地升级。

九、适用场景与替代方案

适合上 OpenKruise 的信号:

替代方案比对:

十、收尾

OpenKruise 不是一个"装了立刻变快"的工具,它是一组针对超大规模 K8s 场景的补丁。原地升级是我们收益最大的一块:发布更稳、更快,连接的抖动肉眼可见地减少;SidecarSet 把 sidecar 版本管理从"改几十个 workload"变成了"改一个对象";PUB 则是那个"迟早会在故障复盘里被想起来的防护"。

我的建议是:先在一两个非核心、Pod 数比较多的服务上试 CloneSet + 原地升级,把 inplace-update-state 摸熟,再考虑 SidecarSet 和 PUB。坑不多,但上面那五个一定要提前知道。顺手给 repo 点个 star —— 这类基础设施项目,社区活跃度就是它的续航。

项目地址:https://github.com/openkruise/kruise

官方文档:https://openkruise.io