GPU 不再整卡整租:用 HAMi 把一块卡掰成多份给 AI 集群用

技术教程 · AI 与 AIOps · GPU 与调度 · 2026-09-11

GPU 不再整卡整租:用 HAMi 把一块卡掰成多份给 AI 集群用

开头:一个价值几百块的"空转"

不知道你有没有遇到过这种场景:团队里有人起了个 Jupyter Notebook 做数据探索,随手申请了一张 A100;跑了几分钟代码,然后人跑去开会了,那张卡就跟着空闲了一下午。而另一边,真正要跑训练任务的同事,却在排队等 GPU,调度器告诉他"没有可用设备"。

这就是 AI 时代 Kubernetes 集群最典型的资源浪费——GPU 是整卡分配的,租了就独占,哪怕你只用 3GB 显存,剩下 77GB 也在那干瞪眼。

今天我想聊的 HAMi(Heterogeneous AI Computing Virtualization Middleware,前身叫 k8s-vGPU-scheduler),就是专门治这个病的。它现在已经是 CNCF Incubating 项目,核心就干一件事:把一块物理 GPU 虚拟化成多份,让多个 Pod 按需分片共享,同时做好内存和算力的隔离。

说句实在话,GPU 共享这个话题不是新东西。NVIDIA 自己有 MIG,厂商有各自的 vGPU 方案,但这些要么绑死硬件、要么收授权费、要么只支持单家芯片。HAMi 的差异化在于它把这件事做成了 Kubernetes 生态里中立的、跨厂商的中间件,而且已经进了 CNCF 的孵化序列,意味着它有社区和治理背书,不是某个小团队的一时之作。

它到底解决什么

AI 基础设施团队在 K8s 上跑 GPU 负载,几乎都会撞上同一批问题:

  1. 整卡分配浪费大 —— 小任务占大卡,利用率常年二三十。
  2. 不同厂商设备口径不一 —— NVIDIA、昇腾 NPU、寒武纪 MLU、海光……每家的设备插件、调度方式都不一样,异构集群运维痛不欲生。
  3. 调度器"瞎了" —— 普通 kube-scheduler 只知道"有没有卡",不知道卡的拓扑、显存余量、算力占用,无法做聪明的放置。

HAMi 用一个 Kubernetes 原生的层把这些问题统一解决:设备共享、资源隔离、拓扑感知调度、异构加速器统一管理。而且业务代码一行都不用改,还是用标准的 resource requests/limits。

三个我真正看中的能力

能力一:按显存/算力分片,而不是整卡

这是 HAMi 的灵魂。你可以在 Pod 里这样申请"一块卡 + 3GB 显存":

resources:
  limits:
    nvidia.com/gpu: 1      # 1 张物理卡
    nvidia.com/gpumem: 3000  # 但只用其中 3GB 显存

容器里看到的是分配好的设备资源,而 HAMi 在底层协调调度、分配和隔离。剩下那张卡的显存还能分给别的 Pod 用。

真实场景:我们把推理服务和训练任务放在同一个 GPU 池里。小模型推理只占 4GB,训练占剩余部分,一张卡同时跑五六个负载,利用率从 30% 拉到 70% 以上。省下的卡就是实打实的钱。

这里有个细节值得单独说:HAMi 不是简单地在几个容器之间"均分"显存,而是按申请量隔离。谁申请了多少,容器里就只能看到多少,不会出现某个容器写越界把邻居的显存踩了。这条隔离能力,是共享方案能不能上生产的关键分水岭。

能力二:异构加速器统一调度

这是 HAMi 区别于其他 vGPU 方案的最大杀器。它不只是 NVIDIA 的玩具,还支持昇腾 NPU、寒武纪 MLU、海光 DCU、壁仞、摩尔线程、沐曦等多种国产加速器。

对国内团队这块价值尤其大——国产芯片生态分散、设备插件五花八门,HAMi 用一套分配和调度流程把它们统一管起来,不用为每家芯片写一套部署脚本。

这一点也是我最看重它的地方。国产化是硬趋势,但现实是昇腾、寒武纪、海光各家都有自己的一套 device plugin 和调度器,中小团队根本维护不过来。HAMi 把异构调度抽象成统一的资源模型,等于给了团队一个"只学一次、处处通用"的入口。

能力三:设备感知的调度策略

HAMi 提供 binpack(装箱、尽量塞满少数卡)、spread(分散、降低争抢)、拓扑感知,甚至动态 MIG(Dynamic MIG,按需切 NVIDIA MIG 实例)。

配合 Volcano 做 Gang scheduling 和队列,或者通过 Kueue 的 ResourceTransformation 把 HAMi 资源暴露给批处理排队,就把 GPU 集群真正变成了一个可治理的资源池。

装起来:十几分钟见效

前置条件(NVIDIA 路径):驱动 >= 440、nvidia-docker > 2.0、K8s >= 1.23、Helm > 3.0。

第一步:给 GPU 节点打标签

kubectl label nodes <node-name> gpu=on

第二步:装 HAMi

helm repo add hami-charts https://project-hami.github.io/HAMi/
helm repo update
helm install hami hami-charts/hami -n kube-system

第三步:确认调度器和设备插件都起来了

kubectl get pods -n kube-system | grep hami

等 hami-device-plugin 和 hami-scheduler 都 Running 后,跑个示例负载验证一下:

kubectl apply -f examples/nvidia/default_use.yaml

监控:HAMi 默认在 31993 端口暴露指标,自带 WebUI 和 Grafana 模板,能看到每个容器真实的 GPU 内存占用和利用率。用 Helm value 可以改监控端口:

helm install hami hami-charts/hami -n kube-system \
  --set scheduler.service.monitorPort=31993

三个必须提前想清楚的坑

坑一:算力(core)隔离有硬件前提

HAMi 对显存的隔离是比较成熟的,但算力的隔离(比如限制某个 Pod 只用 GPU 的 20% 计算)依赖设备的驱动和硬件代次支持。不同厂商、不同型号支持程度不一样,别想当然认为"申请了就一定隔离得住"。装机前先查清楚 support matrix。

坑二:装完 HAMi,节点的 nvidia.com/gpu 含义变了

这是个容易踩的认知坑。装完后,节点上注册的 nvidia.com/gpu 默认等于 vGPU 数量,而不是物理卡数量;而 Pod 里申请 nvidia.com/gpu 才是指物理卡。理解错这个口径,很容易配错调度额度,以为有 8 张卡,其实虚拟粒度更细了。

坑三:和 NVIDIA GPU Operator 的关系要理顺

HAMi 可以和 GPU Operator 共存——通常让 GPU Operator 管驱动,HAMi 管调度和分配。但如果你两边都试图管理设备插件,就会冲突。部署前先明确职责边界,别让两个 Operator 抢同一块卡。

什么时候用它,什么时候不用

适合的场景:

替代方案对比:

方案核心能力定位
HAMi分片共享+异构统一+拓扑调度Kubernetes 原生中间件,Incubating
NVIDIA MIG硬件级切分/隔离仅 NVIDIA、需特定卡型
厂商 vGPU驱动级虚拟化授权费高、绑定厂商
裸 kube-scheduler整卡分配无共享、利用率低

我的判断很直接:如果你的 GPU 利用率长期低于五成,或者你在折腾国产加速器,HAMi 是当下性价比最高的切入点。它不锁硬件、不收费、K8s 原生,生态里还集成了 vLLM、Volcano、Kueue 这些 AI 负载的常用件。唯一要花功夫的是理解它"显存能分、算力要查"的边界。

收尾

GPU 正在成为 K8s 上最贵也最容易被浪费的资源。过去我们习惯"整卡整租",是因为没有好用的分片工具;现在 HAMi 把 vGPU 这件事从硬件厂商手里接了过来,做成了一个中立的 CNCF 项目。

对于正在转向 AI 基础设施的云原生团队来说,这可能是比追任何一个大模型热点都更实际的投入——因为省下来的,是真实采购预算。

当然,我也得说句公道话:HAMi 不是银弹。它在显存共享上已经很稳,但算力隔离仍受限于硬件和驱动,异构支持也在快速迭代中。它更像个团队加速器——帮你用现有的卡,尽快跑起 AI 负载,而不是替你解决 AI 基础设施的全部难题。但就冲"不锁硬件、不收费、K8s 原生"这三点,它值得任何一个认真做 AI 平台的团队花一个下午去试一试。

工具地址:https://github.com/Project-HAMi/HAMi