GPU 从"焊死"到"热插拔":CoHDI 让 K8s 节点变成可拆装的机器

技术教程 · AI 与 AIOps · GPU 与调度 · 2026-11-04

GPU 从"焊死"到"热插拔":CoHDI 让 K8s 节点变成可拆装的机器

去年帮一个团队做推理集群的容量规划,账算到最后我有点沉默:32 张 A100,分布在 8 个节点上,每个节点 4 张卡。理论算力很漂亮,实际利用率长期在 40% 上下。原因不复杂——prefill 阶段吃算力,decode 阶段吃显存带宽,两类负载要的卡型配比不一样,但物理上每台机器只有 4 张卡,配不平的地方就是空转。

传统的解法是"多买几种节点规格",或者用 HAMi 这类方案做显存切分。但这些都是在既有的物理拓扑里做软件腾挪。真正的问题在更下面一层:GPU 被 PCIe 插槽焊死在机箱里了,节点一上电,资源边界就定了。

CoHDI 想动的是这一层。它今年 7 月正式进入 CNCF Sandbox,做的事情可以一句话说完:让 GPU 像 PVC 一样,用的时候挂上来,不用的时候摘下去,全程不重启操作系统。

CoHDI 到底是什么

CoHDI 全称 Composable Hardware in Disaggregated Infrastructure,读作"Cody"。2025 年 3 月由 Red Hat、FSAS、Fujitsu、IBM Research、NTT 五家联合发起,前身叫 InfraDDS。它的前提是硬件层面得先支持——设备和大盘通过 PCIe/CXL Switch 连在一个资源池里,Switch 可编程,所以设备的归属关系可以由软件改。

在这个硬件前提上,CoHDI 提供了四个 K8s 侧的组件:

关键点在于它不是另起一套 API,而是长在 K8s 原生的 DRA(Dynamic Resource Allocation)上。DRA 在 1.34 已经 GA,1.35 里 feature gate 直接锁死默认开启。这条路选得对——蹭着上游演进走,比自建一套调度器活得久。

能力一:从"给我一张卡"到"给我一张这样的卡"

这是 DRA 本身带来的,CoHDI 把它接上了。

老的 Device Plugin 模型下,你只能写:

resources:
  limits:
    nvidia.com/gpu: 1

整数,没有属性,没有拓扑,不支持小数。你想要"A100 40G 的、PCIe 版本的",表达不出来,只能靠节点标签 + nodeSelector 绕。

DRA 换了个模型,Pod 通过 ResourceClaim 按属性申请。CoHDI 的 ResourceSlice 里带的就是这些属性,调度器能看懂"这张卡是 A100、40G、当前挂在哪个 fabric 上"。

对使用者来说,变化是:你描述需求,而不是描述位置。 位置由调度器和 Dynamic Device Scaler 协商出来。

能力二:ComposabilityRequest —— 硬件版的 PVC

这是 CoHDI 最直观的一个抽象。ComposabilityRequest 是集群级 CRD,group 是 cro.hpsys.ibm.ie.com,v1alpha1:

apiVersion: cro.hpsys.ibm.ie.com/v1alpha1
kind: ComposabilityRequest
metadata:
  name: gpu-for-inference
spec:
  resource:
    type: "gpu"                  # 支持 gpu / cxlmemory
    size: 2                      # 要 2 张
    model: "NVIDIA-A100-PCIE-40GB"
    other_spec:
      milli_cpu: 2
      memory: 40
      ephemeral_storage: 2
      allowed_pod_number: 5
    target_node: "node1"
    force_detach: true
    allocation_policy: "samenode"   # samenode / differentnode

几个字段值得单独说:

allocation_policy: samenode 意思是这几张卡必须挂到同一台机器上——对 NVLink 或者张量并行的场景是硬需求。如果负载是无状态的单卡推理,切成 differentnode 能把资源碎片用得更狠。

allowed_pod_number 是一个资源治理的抓手。它限制这批设备能被多少个 Pod 同时占用,避免一张卡被上层调度器反复切片切到性能崩掉。

force_detach: true 是危险开关,允许在设备还被占用时强制摘除。生产环境我建议默认关掉,只在节点确实需要腾挪时临时打开。

注意 size: 2 是数量,不是显存大小。显存容量由 model 决定。这个设计有点反直觉,第一次写容易写错。

能力三:冷却时间——真正决定好不好用的是这三个参数

硬件挂载不是无代价的。PCIe 设备热插拔在 OS 层面要经历 remove/rescan,频繁抖动会拖垮节点。Dynamic Device Scaler 给了三个时间参数来控制节奏:

参数默认值含义
SCAN_INTERVAL60s周期性检查 Pod 需求的间隔
DEVICE_NO_ALLOCATION_DURATION60s设备最后一次被使用后,多久可以重新调度
DEVICE_NO_REMOVAL_DURATION600s设备最后一次被使用后,多久可以真正摘除

DEVICE_NO_REMOVAL_DURATION 给到 10 分钟,说明维护者自己也清楚:摘卡比挂卡风险高。挂上去失败了大不了重试,摘下来的时候如果还有进程在跑,就是硬故障。

这三个值是我认为 CoHDI 上最该按业务调的地方。推理服务如果你想快速弹性,SCAN_INTERVAL 可以压到 10s 左右,但 DEVICE_NO_REMOVAL_DURATION 千万别跟着压——除非你的负载真的能在 30 秒内彻底释放设备。

部署:先说清楚门槛

我不打算假装这是 helm install 一把梭的东西。CoHDI 的前提条件比一般工具高,而且高在集群之外。

第一层,K8s 版本和 feature gate。 从 cohdi-chart 的 README 看,官方验证过的组合是:

kube-apiserver 的 runtime-config 必须带 resource.k8s.io/v1alpha3=true,同时打开三个 feature gate:

DRADeviceBindingConditions
DRADeviceTaintRules
DRADeviceTaints

这三个 gate 对应的是上游 KEP-5007。它解决的问题很具体:某些挂在 fabric 上的设备,必须在 Pod 被调度之前就完成物理挂载。所以调度器在 PreBind 阶段会停下来,等 BindingCondition 被满足,控制面把设备挂好、翻掉标志位,调度才继续。

第二层,节点 providerID。 这一步和 FSAS PRIMERGY CDI 绑定:

kubectl patch node node1 --type=merge -p \
  '{"spec":{"providerID":"fsas-cdi://be85a638-9c81-4ca7-84f7-59ae78bfd672"}}'

<machine_uuid> 是这台机器在 CDI manager 侧的 UUID。README 里明确写了:一旦设置,后续无法修改。 我见过有人拿测试集群的 UUID 复制到生产,结果节点起来了但设备挂不上,排查了两天才发现是这里。

第三层,webhook 证书。 得自己生成,chart 里不预置:

openssl genrsa -out tls.key 2048

cro=composable-resource-operator
crows=$cro-webhook-service
cross=$crows.$cro-system.svc
openssl req -x509 -key tls.key -new -sha256 -days 365 -out tls.crt \
    -subj "/CN=$crows" \
    -addext "subjectAltName = DNS:$cross, DNS:$cross.cluster.local" \
    -addext "basicConstraints = critical, CA:FALSE" \
    -addext "keyUsage = critical, digitalSignature, keyEncipherment" \
    -addext "extendedKeyUsage = serverAuth, clientAuth"

生成的 tls.key / tls.crt 分别填进 common.webhook.server.key、common.webhook.server.crt、common.webhook.client.caBundle。有效期一年,记得排进运维日历。

第四层,真正的 CoHDI manager。 这个组件不在开源仓库里。它是厂商实现——FSAS 的 PRIMERGY CDI 是目前的参考实现。也就是说,硬件侧你得有一套支持可组合设备的机架,且有厂商提供的 manager 服务。values.yaml 里要填 CDI_ENDPOINT、CLUSTER_ID、TENANT_ID、client_id、client_secret、CA 证书这一整套租户凭据。

装完之后验证:

kubectl get crd | grep cro.hpsys
# composabilityrequests.cro.hpsys.ibm.ie.com
# composableresources.cro.hpsys.ibm.ie.com

kubectl get pods -n composable-resource-operator-system
kubectl get resourceslices

resourceslices 里能看到"未挂载"的设备池,就说明 DRA Driver 通了。

没有硬件怎么玩:两条 mock 路径

这是我觉得 CoHDI 社区做得还行的地方——他们给了 mock,而且诚实标注了局限。

cohdi-ci-mock:需要至少一张真 GPU,但可以在虚拟机/物理机上模拟挂载。原理是用 OS 层的 PCI remove/rescan 制造"设备消失/出现"的效果,让 CoHDI 认为挂载发生了。这是唯一能测出完整 attach/detach 行为的方式。

cohdi-manager-mock:不需要 GPU,但只验证 Dynamic Device Scaler 和 CDI DRA 之间的通信,不提供真实的挂载和弹性伸缩行为。README 里直接说这个可能被废弃。

构建流程大概是:

mkdir -p ~/mock/certs && cd ~/mock/certs
openssl req -x509 -newkey rsa:2048 -days 365 -keyout ca.key -out ca.crt \
  -config openssl.cnf -extensions v3_ca -nodes
openssl req -new -nodes -newkey rsa:2048 -keyout server.key -out server.csr \
  -config openssl.cnf -extensions v3_req
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial \
  -out server.crt -days 3650 -sha256 -extensions v3_req -extfile openssl.cnf

cd ~/mock && make

如果集群用 containerd,Docker 构建的镜像得手动导入:

docker save mock_cohdi:test -o mock_cohdi.tar
sudo ctr -n k8s.io images import mock_cohdi.tar
sudo crictl images | grep mock_cohdi

然后按 README 起 mock-server Pod + Service。别指望用 k3d/kind 完整跑通——mock 需要往节点上做 PCI 操作,容器里的"节点"没有真实 PCI 总线。

坑,说几个真实的

1. 上游 DRA API 还在动。 resource.k8s.io 现在是 v1alpha3 被 CoHDI 引用,而你集群里的 DRA core 已经是 GA 版本。版本错位会导致 ResourceSlice 字段对不上、BindingCondition 不生效。上之前先 kubectl api-resources | grep resource.k8s.io 对一遍。

2. providerID 不可逆。 上面提过了,但值得再强调——这个字段没有"改回去"的操作。

3. size 的语义陷阱。 size 是设备数量,model 才是规格。我在 sample 里看到过 size: 1, model: "NVIDIA-A100-PCIE-40GB",然后有人以为 size 是显存,写成 size: 40,结果申请了 40 张卡直接 pending。

4. 摘除冷却期会拖长弹性窗口。 DEVICE_NO_REMOVAL_DURATION 默认 600 秒,意味着负载降下来之后,硬件要 10 分钟才被回收。如果你的成本模型是按秒算 GPU 钱的,这个延迟是实打实的浪费。要么调小参数,要么接受它。

5. 厂商锁定风险。 CDI_PROVIDER_TYPE 现在只有 FTI_CDI 一个选项,manager 也不开源。这部分是真实的单点依赖。

该不该现在上

适合上的:

不适合的:

替代方案对比:

三者不冲突,是不同层次。HAMi 和 MIG 在"一张卡怎么分",CoHDI 在"一张卡属于哪台机器"。

我的判断

CoHDI 现在还不到能推荐给生产环境的程度——四个前置条件里有两个在集群外,manager 不开源,DRA API 版本还在动。拿到 CNCF Sandbox 只是入场券,不是毕业证。

但它指的方向我认为是对的。K8s 过去十年解决的是"计算资源怎么编排",GPU 时代要解决的是"异构硬件怎么编排"。当卡比机器贵、卡型比机器型号多的时候,把卡焊在机箱里就是浪费。可组合硬件在大型数据中心已经不是概念——NTT 的 IOWN、OCP 的相关工作组都在推。

对大多数人来说,现在最务实的动作不是部署 CoHDI,而是把 DRA 用起来。等你的集群已经在用 ResourceClaim 描述设备需求了,等厂商的 CDI 机架进了你的采购清单,CoHDI 这一层才有落脚点。

在此之前,先看架构、跑跑 mock、把 feature gate 在测试集群上开一遍,成本很低。真到要上硬件那天,你至少知道 providerID 是不能改的。