GPU 从"焊死"到"热插拔":CoHDI 让 K8s 节点变成可拆装的机器
技术教程 · AI 与 AIOps · GPU 与调度 · 2026-11-04
GPU 从"焊死"到"热插拔":CoHDI 让 K8s 节点变成可拆装的机器
去年帮一个团队做推理集群的容量规划,账算到最后我有点沉默:32 张 A100,分布在 8 个节点上,每个节点 4 张卡。理论算力很漂亮,实际利用率长期在 40% 上下。原因不复杂——prefill 阶段吃算力,decode 阶段吃显存带宽,两类负载要的卡型配比不一样,但物理上每台机器只有 4 张卡,配不平的地方就是空转。
传统的解法是"多买几种节点规格",或者用 HAMi 这类方案做显存切分。但这些都是在既有的物理拓扑里做软件腾挪。真正的问题在更下面一层:GPU 被 PCIe 插槽焊死在机箱里了,节点一上电,资源边界就定了。
CoHDI 想动的是这一层。它今年 7 月正式进入 CNCF Sandbox,做的事情可以一句话说完:让 GPU 像 PVC 一样,用的时候挂上来,不用的时候摘下去,全程不重启操作系统。
CoHDI 到底是什么
CoHDI 全称 Composable Hardware in Disaggregated Infrastructure,读作"Cody"。2025 年 3 月由 Red Hat、FSAS、Fujitsu、IBM Research、NTT 五家联合发起,前身叫 InfraDDS。它的前提是硬件层面得先支持——设备和大盘通过 PCIe/CXL Switch 连在一个资源池里,Switch 可编程,所以设备的归属关系可以由软件改。
在这个硬件前提上,CoHDI 提供了四个 K8s 侧的组件:
- Composable DRA Driver:把资源池里"还没挂到任何节点上"的设备,以 ResourceSlice 的形式发布给 K8s
- Dynamic Device Scaler:观察到 Pod 有设备需求,就发指令去挂载
- Composable Resource Operator:真正执行挂载/卸载,调 CoHDI manager 的 API
- CoHDI Helm Chart:把上面这些打包部署
关键点在于它不是另起一套 API,而是长在 K8s 原生的 DRA(Dynamic Resource Allocation)上。DRA 在 1.34 已经 GA,1.35 里 feature gate 直接锁死默认开启。这条路选得对——蹭着上游演进走,比自建一套调度器活得久。
能力一:从"给我一张卡"到"给我一张这样的卡"
这是 DRA 本身带来的,CoHDI 把它接上了。
老的 Device Plugin 模型下,你只能写:
resources:
limits:
nvidia.com/gpu: 1
整数,没有属性,没有拓扑,不支持小数。你想要"A100 40G 的、PCIe 版本的",表达不出来,只能靠节点标签 + nodeSelector 绕。
DRA 换了个模型,Pod 通过 ResourceClaim 按属性申请。CoHDI 的 ResourceSlice 里带的就是这些属性,调度器能看懂"这张卡是 A100、40G、当前挂在哪个 fabric 上"。
对使用者来说,变化是:你描述需求,而不是描述位置。 位置由调度器和 Dynamic Device Scaler 协商出来。
能力二:ComposabilityRequest —— 硬件版的 PVC
这是 CoHDI 最直观的一个抽象。ComposabilityRequest 是集群级 CRD,group 是 cro.hpsys.ibm.ie.com,v1alpha1:
apiVersion: cro.hpsys.ibm.ie.com/v1alpha1
kind: ComposabilityRequest
metadata:
name: gpu-for-inference
spec:
resource:
type: "gpu" # 支持 gpu / cxlmemory
size: 2 # 要 2 张
model: "NVIDIA-A100-PCIE-40GB"
other_spec:
milli_cpu: 2
memory: 40
ephemeral_storage: 2
allowed_pod_number: 5
target_node: "node1"
force_detach: true
allocation_policy: "samenode" # samenode / differentnode
几个字段值得单独说:
allocation_policy: samenode 意思是这几张卡必须挂到同一台机器上——对 NVLink 或者张量并行的场景是硬需求。如果负载是无状态的单卡推理,切成 differentnode 能把资源碎片用得更狠。
allowed_pod_number 是一个资源治理的抓手。它限制这批设备能被多少个 Pod 同时占用,避免一张卡被上层调度器反复切片切到性能崩掉。
force_detach: true 是危险开关,允许在设备还被占用时强制摘除。生产环境我建议默认关掉,只在节点确实需要腾挪时临时打开。
注意 size: 2 是数量,不是显存大小。显存容量由 model 决定。这个设计有点反直觉,第一次写容易写错。
能力三:冷却时间——真正决定好不好用的是这三个参数
硬件挂载不是无代价的。PCIe 设备热插拔在 OS 层面要经历 remove/rescan,频繁抖动会拖垮节点。Dynamic Device Scaler 给了三个时间参数来控制节奏:
| 参数 | 默认值 | 含义 |
|---|---|---|
SCAN_INTERVAL | 60s | 周期性检查 Pod 需求的间隔 |
DEVICE_NO_ALLOCATION_DURATION | 60s | 设备最后一次被使用后,多久可以重新调度 |
DEVICE_NO_REMOVAL_DURATION | 600s | 设备最后一次被使用后,多久可以真正摘除 |
DEVICE_NO_REMOVAL_DURATION 给到 10 分钟,说明维护者自己也清楚:摘卡比挂卡风险高。挂上去失败了大不了重试,摘下来的时候如果还有进程在跑,就是硬故障。
这三个值是我认为 CoHDI 上最该按业务调的地方。推理服务如果你想快速弹性,SCAN_INTERVAL 可以压到 10s 左右,但 DEVICE_NO_REMOVAL_DURATION 千万别跟着压——除非你的负载真的能在 30 秒内彻底释放设备。
部署:先说清楚门槛
我不打算假装这是 helm install 一把梭的东西。CoHDI 的前提条件比一般工具高,而且高在集群之外。
第一层,K8s 版本和 feature gate。 从 cohdi-chart 的 README 看,官方验证过的组合是:
- RHOCP 4.22
- SLES 16 + RKE2 v1.35
- RHEL 10.2 + K8s v1.36
- Ubuntu 24.04 + K8s v1.36
kube-apiserver 的 runtime-config 必须带 resource.k8s.io/v1alpha3=true,同时打开三个 feature gate:
DRADeviceBindingConditions
DRADeviceTaintRules
DRADeviceTaints
这三个 gate 对应的是上游 KEP-5007。它解决的问题很具体:某些挂在 fabric 上的设备,必须在 Pod 被调度之前就完成物理挂载。所以调度器在 PreBind 阶段会停下来,等 BindingCondition 被满足,控制面把设备挂好、翻掉标志位,调度才继续。
第二层,节点 providerID。 这一步和 FSAS PRIMERGY CDI 绑定:
kubectl patch node node1 --type=merge -p \
'{"spec":{"providerID":"fsas-cdi://be85a638-9c81-4ca7-84f7-59ae78bfd672"}}'
<machine_uuid> 是这台机器在 CDI manager 侧的 UUID。README 里明确写了:一旦设置,后续无法修改。 我见过有人拿测试集群的 UUID 复制到生产,结果节点起来了但设备挂不上,排查了两天才发现是这里。
第三层,webhook 证书。 得自己生成,chart 里不预置:
openssl genrsa -out tls.key 2048
cro=composable-resource-operator
crows=$cro-webhook-service
cross=$crows.$cro-system.svc
openssl req -x509 -key tls.key -new -sha256 -days 365 -out tls.crt \
-subj "/CN=$crows" \
-addext "subjectAltName = DNS:$cross, DNS:$cross.cluster.local" \
-addext "basicConstraints = critical, CA:FALSE" \
-addext "keyUsage = critical, digitalSignature, keyEncipherment" \
-addext "extendedKeyUsage = serverAuth, clientAuth"
生成的 tls.key / tls.crt 分别填进 common.webhook.server.key、common.webhook.server.crt、common.webhook.client.caBundle。有效期一年,记得排进运维日历。
第四层,真正的 CoHDI manager。 这个组件不在开源仓库里。它是厂商实现——FSAS 的 PRIMERGY CDI 是目前的参考实现。也就是说,硬件侧你得有一套支持可组合设备的机架,且有厂商提供的 manager 服务。values.yaml 里要填 CDI_ENDPOINT、CLUSTER_ID、TENANT_ID、client_id、client_secret、CA 证书这一整套租户凭据。
装完之后验证:
kubectl get crd | grep cro.hpsys
# composabilityrequests.cro.hpsys.ibm.ie.com
# composableresources.cro.hpsys.ibm.ie.com
kubectl get pods -n composable-resource-operator-system
kubectl get resourceslices
resourceslices 里能看到"未挂载"的设备池,就说明 DRA Driver 通了。
没有硬件怎么玩:两条 mock 路径
这是我觉得 CoHDI 社区做得还行的地方——他们给了 mock,而且诚实标注了局限。
cohdi-ci-mock:需要至少一张真 GPU,但可以在虚拟机/物理机上模拟挂载。原理是用 OS 层的 PCI remove/rescan 制造"设备消失/出现"的效果,让 CoHDI 认为挂载发生了。这是唯一能测出完整 attach/detach 行为的方式。
cohdi-manager-mock:不需要 GPU,但只验证 Dynamic Device Scaler 和 CDI DRA 之间的通信,不提供真实的挂载和弹性伸缩行为。README 里直接说这个可能被废弃。
构建流程大概是:
mkdir -p ~/mock/certs && cd ~/mock/certs
openssl req -x509 -newkey rsa:2048 -days 365 -keyout ca.key -out ca.crt \
-config openssl.cnf -extensions v3_ca -nodes
openssl req -new -nodes -newkey rsa:2048 -keyout server.key -out server.csr \
-config openssl.cnf -extensions v3_req
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial \
-out server.crt -days 3650 -sha256 -extensions v3_req -extfile openssl.cnf
cd ~/mock && make
如果集群用 containerd,Docker 构建的镜像得手动导入:
docker save mock_cohdi:test -o mock_cohdi.tar
sudo ctr -n k8s.io images import mock_cohdi.tar
sudo crictl images | grep mock_cohdi
然后按 README 起 mock-server Pod + Service。别指望用 k3d/kind 完整跑通——mock 需要往节点上做 PCI 操作,容器里的"节点"没有真实 PCI 总线。
坑,说几个真实的
1. 上游 DRA API 还在动。 resource.k8s.io 现在是 v1alpha3 被 CoHDI 引用,而你集群里的 DRA core 已经是 GA 版本。版本错位会导致 ResourceSlice 字段对不上、BindingCondition 不生效。上之前先 kubectl api-resources | grep resource.k8s.io 对一遍。
2. providerID 不可逆。 上面提过了,但值得再强调——这个字段没有"改回去"的操作。
3. size 的语义陷阱。 size 是设备数量,model 才是规格。我在 sample 里看到过 size: 1, model: "NVIDIA-A100-PCIE-40GB",然后有人以为 size 是显存,写成 size: 40,结果申请了 40 张卡直接 pending。
4. 摘除冷却期会拖长弹性窗口。 DEVICE_NO_REMOVAL_DURATION 默认 600 秒,意味着负载降下来之后,硬件要 10 分钟才被回收。如果你的成本模型是按秒算 GPU 钱的,这个延迟是实打实的浪费。要么调小参数,要么接受它。
5. 厂商锁定风险。 CDI_PROVIDER_TYPE 现在只有 FTI_CDI 一个选项,manager 也不开源。这部分是真实的单点依赖。
该不该现在上
适合上的:
- 自建 AI 训练/推理集群,卡多、负载形态差异大,GPU 利用率长期低于 60%
- 已经在用 DRA 做设备调度的平台团队,想往下一层动硬件拓扑
- 有 CXL 内存池化规划的基础设施团队——
cxlmemory已经是支持的 resource type - 研究/实验环境,能容忍 alpha 状态的不稳定
不适合的:
- 托管 K8s(EKS/GKE/AKS),你碰不到 PCIe Switch
- 单机 8 卡的稳定推理服务,负载形态不变,可组合性没有收益
- 团队没有裸金属运维能力
替代方案对比:
- HAMi:显存/算力切分,纯软件,不需要任何硬件改动,今天就能上。解决的是"共享",CoHDI 解决的是"归属"
- 原生 DRA + 厂商 driver:1.34 GA 之后已经能用属性化调度,但设备还是静态挂在节点上
- MIG:单卡内切分,粒度细但被锁在一张卡里
三者不冲突,是不同层次。HAMi 和 MIG 在"一张卡怎么分",CoHDI 在"一张卡属于哪台机器"。
我的判断
CoHDI 现在还不到能推荐给生产环境的程度——四个前置条件里有两个在集群外,manager 不开源,DRA API 版本还在动。拿到 CNCF Sandbox 只是入场券,不是毕业证。
但它指的方向我认为是对的。K8s 过去十年解决的是"计算资源怎么编排",GPU 时代要解决的是"异构硬件怎么编排"。当卡比机器贵、卡型比机器型号多的时候,把卡焊在机箱里就是浪费。可组合硬件在大型数据中心已经不是概念——NTT 的 IOWN、OCP 的相关工作组都在推。
对大多数人来说,现在最务实的动作不是部署 CoHDI,而是把 DRA 用起来。等你的集群已经在用 ResourceClaim 描述设备需求了,等厂商的 CDI 机架进了你的采购清单,CoHDI 这一层才有落脚点。
在此之前,先看架构、跑跑 mock、把 feature gate 在测试集群上开一遍,成本很低。真到要上硬件那天,你至少知道 providerID 是不能改的。