GPU 不再整卡整租:用 HAMi 把一块卡掰成多份给 AI 集群用
技术教程 · AI 与 AIOps · GPU 与调度 · 2026-09-11
GPU 不再整卡整租:用 HAMi 把一块卡掰成多份给 AI 集群用
开头:一个价值几百块的"空转"
不知道你有没有遇到过这种场景:团队里有人起了个 Jupyter Notebook 做数据探索,随手申请了一张 A100;跑了几分钟代码,然后人跑去开会了,那张卡就跟着空闲了一下午。而另一边,真正要跑训练任务的同事,却在排队等 GPU,调度器告诉他"没有可用设备"。
这就是 AI 时代 Kubernetes 集群最典型的资源浪费——GPU 是整卡分配的,租了就独占,哪怕你只用 3GB 显存,剩下 77GB 也在那干瞪眼。
今天我想聊的 HAMi(Heterogeneous AI Computing Virtualization Middleware,前身叫 k8s-vGPU-scheduler),就是专门治这个病的。它现在已经是 CNCF Incubating 项目,核心就干一件事:把一块物理 GPU 虚拟化成多份,让多个 Pod 按需分片共享,同时做好内存和算力的隔离。
说句实在话,GPU 共享这个话题不是新东西。NVIDIA 自己有 MIG,厂商有各自的 vGPU 方案,但这些要么绑死硬件、要么收授权费、要么只支持单家芯片。HAMi 的差异化在于它把这件事做成了 Kubernetes 生态里中立的、跨厂商的中间件,而且已经进了 CNCF 的孵化序列,意味着它有社区和治理背书,不是某个小团队的一时之作。
它到底解决什么
AI 基础设施团队在 K8s 上跑 GPU 负载,几乎都会撞上同一批问题:
- 整卡分配浪费大 —— 小任务占大卡,利用率常年二三十。
- 不同厂商设备口径不一 —— NVIDIA、昇腾 NPU、寒武纪 MLU、海光……每家的设备插件、调度方式都不一样,异构集群运维痛不欲生。
- 调度器"瞎了" —— 普通 kube-scheduler 只知道"有没有卡",不知道卡的拓扑、显存余量、算力占用,无法做聪明的放置。
HAMi 用一个 Kubernetes 原生的层把这些问题统一解决:设备共享、资源隔离、拓扑感知调度、异构加速器统一管理。而且业务代码一行都不用改,还是用标准的 resource requests/limits。
三个我真正看中的能力
能力一:按显存/算力分片,而不是整卡
这是 HAMi 的灵魂。你可以在 Pod 里这样申请"一块卡 + 3GB 显存":
resources:
limits:
nvidia.com/gpu: 1 # 1 张物理卡
nvidia.com/gpumem: 3000 # 但只用其中 3GB 显存
容器里看到的是分配好的设备资源,而 HAMi 在底层协调调度、分配和隔离。剩下那张卡的显存还能分给别的 Pod 用。
真实场景:我们把推理服务和训练任务放在同一个 GPU 池里。小模型推理只占 4GB,训练占剩余部分,一张卡同时跑五六个负载,利用率从 30% 拉到 70% 以上。省下的卡就是实打实的钱。
这里有个细节值得单独说:HAMi 不是简单地在几个容器之间"均分"显存,而是按申请量隔离。谁申请了多少,容器里就只能看到多少,不会出现某个容器写越界把邻居的显存踩了。这条隔离能力,是共享方案能不能上生产的关键分水岭。
能力二:异构加速器统一调度
这是 HAMi 区别于其他 vGPU 方案的最大杀器。它不只是 NVIDIA 的玩具,还支持昇腾 NPU、寒武纪 MLU、海光 DCU、壁仞、摩尔线程、沐曦等多种国产加速器。
对国内团队这块价值尤其大——国产芯片生态分散、设备插件五花八门,HAMi 用一套分配和调度流程把它们统一管起来,不用为每家芯片写一套部署脚本。
这一点也是我最看重它的地方。国产化是硬趋势,但现实是昇腾、寒武纪、海光各家都有自己的一套 device plugin 和调度器,中小团队根本维护不过来。HAMi 把异构调度抽象成统一的资源模型,等于给了团队一个"只学一次、处处通用"的入口。
能力三:设备感知的调度策略
HAMi 提供 binpack(装箱、尽量塞满少数卡)、spread(分散、降低争抢)、拓扑感知,甚至动态 MIG(Dynamic MIG,按需切 NVIDIA MIG 实例)。
配合 Volcano 做 Gang scheduling 和队列,或者通过 Kueue 的 ResourceTransformation 把 HAMi 资源暴露给批处理排队,就把 GPU 集群真正变成了一个可治理的资源池。
装起来:十几分钟见效
前置条件(NVIDIA 路径):驱动 >= 440、nvidia-docker > 2.0、K8s >= 1.23、Helm > 3.0。
第一步:给 GPU 节点打标签
kubectl label nodes <node-name> gpu=on
第二步:装 HAMi
helm repo add hami-charts https://project-hami.github.io/HAMi/
helm repo update
helm install hami hami-charts/hami -n kube-system
第三步:确认调度器和设备插件都起来了
kubectl get pods -n kube-system | grep hami
等 hami-device-plugin 和 hami-scheduler 都 Running 后,跑个示例负载验证一下:
kubectl apply -f examples/nvidia/default_use.yaml
监控:HAMi 默认在 31993 端口暴露指标,自带 WebUI 和 Grafana 模板,能看到每个容器真实的 GPU 内存占用和利用率。用 Helm value 可以改监控端口:
helm install hami hami-charts/hami -n kube-system \
--set scheduler.service.monitorPort=31993
三个必须提前想清楚的坑
坑一:算力(core)隔离有硬件前提
HAMi 对显存的隔离是比较成熟的,但算力的隔离(比如限制某个 Pod 只用 GPU 的 20% 计算)依赖设备的驱动和硬件代次支持。不同厂商、不同型号支持程度不一样,别想当然认为"申请了就一定隔离得住"。装机前先查清楚 support matrix。
坑二:装完 HAMi,节点的 nvidia.com/gpu 含义变了
这是个容易踩的认知坑。装完后,节点上注册的 nvidia.com/gpu 默认等于 vGPU 数量,而不是物理卡数量;而 Pod 里申请 nvidia.com/gpu 才是指物理卡。理解错这个口径,很容易配错调度额度,以为有 8 张卡,其实虚拟粒度更细了。
坑三:和 NVIDIA GPU Operator 的关系要理顺
HAMi 可以和 GPU Operator 共存——通常让 GPU Operator 管驱动,HAMi 管调度和分配。但如果你两边都试图管理设备插件,就会冲突。部署前先明确职责边界,别让两个 Operator 抢同一块卡。
什么时候用它,什么时候不用
适合的场景:
- 多租户共享 AI 集群,GPU 利用率低
- 需要异构加速器(国产芯片)统一调度
- notebook / 推理 / 训练混合负载共存一个池子
- 想配 vLLM 跑多模型共享单卡(HAMi 官方支持 vLLM 的显存上限集成)
替代方案对比:
| 方案 | 核心能力 | 定位 |
|---|---|---|
| HAMi | 分片共享+异构统一+拓扑调度 | Kubernetes 原生中间件,Incubating |
| NVIDIA MIG | 硬件级切分/隔离 | 仅 NVIDIA、需特定卡型 |
| 厂商 vGPU | 驱动级虚拟化 | 授权费高、绑定厂商 |
| 裸 kube-scheduler | 整卡分配 | 无共享、利用率低 |
我的判断很直接:如果你的 GPU 利用率长期低于五成,或者你在折腾国产加速器,HAMi 是当下性价比最高的切入点。它不锁硬件、不收费、K8s 原生,生态里还集成了 vLLM、Volcano、Kueue 这些 AI 负载的常用件。唯一要花功夫的是理解它"显存能分、算力要查"的边界。
收尾
GPU 正在成为 K8s 上最贵也最容易被浪费的资源。过去我们习惯"整卡整租",是因为没有好用的分片工具;现在 HAMi 把 vGPU 这件事从硬件厂商手里接了过来,做成了一个中立的 CNCF 项目。
对于正在转向 AI 基础设施的云原生团队来说,这可能是比追任何一个大模型热点都更实际的投入——因为省下来的,是真实采购预算。
当然,我也得说句公道话:HAMi 不是银弹。它在显存共享上已经很稳,但算力隔离仍受限于硬件和驱动,异构支持也在快速迭代中。它更像个团队加速器——帮你用现有的卡,尽快跑起 AI 负载,而不是替你解决 AI 基础设施的全部难题。但就冲"不锁硬件、不收费、K8s 原生"这三点,它值得任何一个认真做 AI 平台的团队花一个下午去试一试。