GPU 集群调度利器:KAI Scheduler 实战与最佳实践
技术教程 · AI 与 AIOps · GPU 与调度 · 2026-10-14
GPU 集群调度利器:KAI Scheduler 实战与最佳实践
一、AI 团队的「GPU 排队」困局
上个月帮一个做 LLM 微调的客户做集群治理,对方上来就甩给我一张监控截图:16 张 H100 集群,利用率长期在 35% 上下,但训练团队说"永远抢不到卡",推理团队说"延迟被训练 Job 抖得没法看",平台团队说"加卡没用,加了也轮不到我们"。一句话总结——GPU 不是稀缺资源,GPU 调度权才是稀缺资源。
我去看了一眼他们的集群:标准的 kubeadm + NVIDIA GPU Operator,default scheduler 跑着,多业务用 namespace 隔离,资源用 LimitRange + ResourceQuota 做硬切分。看起来很合理对不对?问题就出在这里。default scheduler 不知道什么是"AI Job",不知道什么是"Gang",不知道什么是"GPU 拓扑亲和性"——它只是一个普通的 pod 调度器,把你的 16 卡 H100 拆成 16 个 1 卡 pod 撒到不同 Node 上,NVLink 跨卡通信带宽变成 PCIe,于是分布式训练慢 30%,推理服务的 cold start 抖了三倍 SLA。
这时候你需要的不是再加几张卡,而是换一个懂 AI 业务的调度器。今天要讲的就是 NVIDIA 开源、刚进 CNCF Sandbox 的 KAI Scheduler(前身 Run:ai Scheduler,NVIDIA 收购 Run:ai 后改名开源)。Apache-2.0 协议,1.5k+ stars,298 forks,最新版本 v0.18.5(2026-10-11),Active 状态,单周支持 2.0+ PR,NVIDIA 官方维护。它解决了我们前面所有的痛点。
二、为什么 default scheduler 干不了这事
我把 default scheduler 在 AI 集群上的"不能"列一下,看完你就知道 KAI 为什么存在:
- 没有 Gang Scheduling 概念。 一个 PyTorchJob 要 master + 8 worker 共 9 个 pod,default scheduler 会先调度前 3 个 pod 把卡占完,剩下的 pod Pending,死锁。Volcano 解决了这个问题,但 KAI 是 kube-batch 系血缘里更现代、更 GPU-native 的实现。
- 没有 GPU 拓扑感知。 8 卡 H100 NVLink 全互联的拓扑是 NVLink domain,跨 socket / 跨 node 的拓扑是 PCIe。default scheduler 完全不管,把 worker 撒到 4 个 node 上训练速度直接腰斩。
- 没有"GPU 共享"概念。 default scheduler 看 nvidia.com/gpu: 1 是整数,整张卡被一个 pod 独占。LLM inference 在线 QPS 不高,一张 H100 推理只占 20% 显存——剩余 80% 浪费。KAI 支持把 1 张卡切成 0.25、0.5、0.75 切分给不同 pod(HARiCore/MIG/NvFractions 三种模式)。
- 没有"团队公平"。 ResourceQuota 是静态硬切,不做抢占回填,不做 DRF,不做 over-quota 的按权重分配。KAI 的 Hierarchical Queues + DRF + Time-based Fairshare 一起解决了"历史欠公平、按需弹性"这两件事。
- 没有"在 quota 内优先级"。 default scheduler 优先级在调度那一刻有效,进入运行后就失效。KAI 的 workload priority 与 preemptibility 解耦——优先级高可以抢,但运行时还有"min guaranteed runtime"保护期。
一句话:default scheduler 是通用调度器,KAI 是AI workload 的调度器。
三、KAI Scheduler 是什么
KAI Scheduler(Kubernetes AI Scheduler)是 NVIDIA 在 2025-02 开源的 Kubernetes 原生调度器,前身是 Run:ai Scheduler。CNCF Sandbox 项目(2025 年中接受),Apache-2.0,基于 kube-batch 演进。它不是替代 default scheduler,而是与 default scheduler 并存:你给 Pod 指定 schedulerName: kai-scheduler,只有这类 Pod 走 KAI 调度,其他 Pod 还是走 default。
它最擅长的场景:
-
GPU 集群(NVIDIA H100 / A100 / GB200 / GB300 等),支持 MIG 切分
-
大模型训练(PyTorchJob / JobSet / Ray)
-
在线推理(vLLM / Triton / Dynamo)
-
多租户场景(多个团队 / 多个项目 / 一组批量化资源池)
四、核心能力(四大金刚)
能力 1:分层队列 + DRF + Time-based Fairshare
队列是 KAI 的资源分配基本单位。可以无限层级,每个叶子队列有一个 quota 和 limit。最关键的是支持 over-quota weight 和 time-based fairshare:超 quota 时按权重比例分配,历史用得多则横向看一段时间公平。
apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
name: research-team
spec:
displayName: "Research Team"
priority: 100
resources:
cpu:
quota: 1000 # 保证 1 核
overQuotaWeight: 1
limit: 2000 # 最多 2 核
memory:
quota: 4096 # 4GB 保证
limit: 8192
gpu:
quota: 1 # 保证 1 张
overQuotaWeight: 1
limit: 2 # 最多 2 张
---
apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
name: ml-team
spec:
parentQueue: "research-team"
priority: 200
resources:
cpu:
quota: 500
overQuotaWeight: 2 # 权重更高,超 quota 时占 2 倍比例
gpu:
quota: 1
真实场景: 训练团队 quota = 4 卡,推理团队 quota = 2 卡,但训练团队凌晨不训练(train 团队晚上 8 点后基本空闲),推理团队白天一直想用更多——DRF + Time-based Fairshare 让推理团队白天超 quota 多用 4 张训练团队的卡(按权重),但训练团队晚上 9 点开始训练后,调度器把推理团队的低优先级 pod 抢走,把卡还给训练团队——自动按时间窗均衡,不需要人工挪卡。
能力 2:Gang Scheduling + 分布式训练
分布式训练的灵魂是"all-or-nothing"——master 没起来,worker 起了也是浪费。KAI 通过 PodGroup + Hierarchical SubGroup 实现:
apiVersion: kubeflow.org/v1
kind: PyTorchJob
metadata:
name: llama-finetune
annotations:
kai.scheduler/queue: "training-queue"
spec:
schedulerName: kai-scheduler
pytorchReplicaSpecs:
Master:
replicas: 1
template:
spec:
containers:
- name: pytorch
image: pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime
resources:
limits:
nvidia.com/gpu: 2
Worker:
replicas: 4
template:
spec:
containers:
- name: pytorch
image: pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime
resources:
limits:
nvidia.com/gpu: 2
这 5 个 pod(1 master + 4 worker)要么同时 ready,要么全部 Pending 等资源。不会出现"3 个 worker 起来但 master 没起"的死锁。JobSet 还有更精细的两级 SubGroup 控制——比如 Disaggregated Serving(prefill + decode)可以 prefill group 优先调度,decode group 跟随。
能力 3:GPU Sharing — 一张卡切给多个 pod
这是 KAI 的"杀手锏"之一,也是我从 Volcano / YuniKorn 切到 KAI 的关键理由。它支持三种模式:
| 模式 | 用途 | 运行时隔离 |
|---|---|---|
| Disabled | 拒绝分数卡请求 | 无 |
| NonMemoryEnforced | 默认,分数卡调度但不限制显存(容器可能用到超额) | 无 |
| HamiCore | 用 HARi-core 做 CUDA 显存隔离 | HARi-core |
| NvFractions | 用 gpu-fractioning + NvFractions 注解 | CDI/NRI |
开启 HARiCore 模式:
helm upgrade -i kai-scheduler oci://ghcr.io/kai-scheduler/kai-scheduler/kai-scheduler \
-n kai-scheduler --create-namespace \
--set global.gpuSharingMode=HamiCore
提交分数卡 Pod:
apiVersion: v1
kind: Pod
metadata:
name: llm-inference-qwen
annotations:
gpu-fraction: "0.25" # 用 1/4 张卡
gpu-memory: "4096" # 限制 4GB 显存
spec:
schedulerName: kai-scheduler
containers:
- name: inference
image: vllm/vllm-openai:latest
limits:
nvidia.com/gpu: 1 # 仍写整数,由注解改写
真实场景: 一张 H100 切 4 份,每份跑一个 Qwen-7B 在线推理 Pod(QPS 不高,单 Pod 显存 10GB)。原来一张卡只能跑一个推理服务,现在跑 4 个,利用率从 25% 提到 80%+。
能力 4:Topology-Aware Scheduling (TAS)
2025-10 v0.10.0 发布的核心特性。H100 / GB200 集群里 GPU 之间有 NVLink / NVSwitch 拓扑,性能差 30%-50%。TAS 让调度器根据 GPU 拓扑把通信密集的 pod 排在 NVLink domain 内:
apiVersion: scheduling.run.ai/v2
kind: PodGroup
metadata:
name: llama-train
spec:
queue: "training-queue"
minMember: 8 # 8 个 pod 必须同时起
topology:
policy: "numa-aware"
gpuTopology:
domain: "nvlink" # 同一 NVLink domain
KAI 自动把 8 个 worker 排在同一 NVLink 域内,避免 PCIe 通信瓶颈。这个特性在 GB200(NVL72)上效果尤其明显——同一个 rack 内 72 张卡全互联,跨 rack 慢 3 倍。
五、安装部署
# 1. 前置:装 NVIDIA GPU Operator
helm install gpu-operator nvidia/gpu-operator \
-n gpu-operator --create-namespace \
--set driver.enabled=true
# 2. 装 KAI Scheduler(启用 GPU 共享)
LATEST=$(curl -s https://api.github.com/repos/kai-scheduler/KAI-scheduler/releases/latest | jq -r '.name')
echo "Latest: $LATEST"
helm upgrade -i kai-scheduler oci://ghcr.io/kai-scheduler/kai-scheduler/kai-scheduler \
-n kai-scheduler --create-namespace \
--version $LATEST \
--set global.gpuSharingMode=HamiCore
# 3. 验证
kubectl get pods -n kai-scheduler
# 看到 kai-scheduler-controller + kai-scheduler-scheduler + kai-resource-isolator 运行中
kubectl get queues -n default
# 看到 default-queue 叶子队列就绪
六、实战示例:8 卡 H100 集群搭建
假设你拿到一个 8 卡 H100 节点(单 node,NVLink domain 内全互联),两个团队:训练(Training)和推理(Inference)。
第一步:建队列分层
apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
name: ai-parent
spec:
displayName: "AI Platform"
---
apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
name: training-queue
spec:
parentQueue: "ai-parent"
priority: 100
resources:
gpu:
quota: 4 # 训练保证 4 卡
limit: 6 # 最多 6 卡(高峰可抢 inference)
cpu: { quota: 8000, limit: 16000 }
---
apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
name: inference-queue
spec:
parentQueue: "ai-parent"
priority: 80 # 优先级低于训练
resources:
gpu:
quota: 4
limit: 8
第二步:提交分布式训练
apiVersion: kubeflow.org/v1
kind: PyTorchJob
metadata:
name: llama3-finetune
annotations:
kai.scheduler/queue: "training-queue"
spec:
schedulerName: kai-scheduler
pytorchReplicaSpecs:
Master: { replicas: 1, template: { spec: { containers: [{name: p, image: pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime, resources: {limits: {nvidia.com/gpu: 1}}}]}}}
Worker: { replicas: 7, template: { spec: { containers: [{name: p, image: pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime, resources: {limits: {nvidia.com/gpu: 1}}}]}}}
KAI 会自动:把 8 pod gang scheduling 在 8 张卡上、TAS 检查 NVLink 拓扑、quota 检查通过、priority 高于 inference。
第三步:推理服务用分数卡
apiVersion: apps/v1
kind: Deployment
metadata:
name: vllm-qwen
spec:
replicas: 4
template:
metadata:
annotations:
gpu-fraction: "0.25"
gpu-memory: "6144"
spec:
schedulerName: kai-scheduler
containers:
- name: vllm
image: vllm/vllm-openai:latest
resources:
limits:
nvidia.com/gpu: 1
4 个推理 pod 每张卡用 1/4,4 张卡正好凑成 1 张卡,剩余 4 张给训练——完美利用 8 卡节点。
七、注意事项 / 坑
- 必须装 NVIDIA GPU Operator。 KAI 自己不做 device plugin / driver 管理,必须有 GPU Operator 提供 nvidia.com/gpu resource。这是新手最常踩的坑。
- gpu-operator < v25.10.0 需要
--set-string admission.gpuFractionRuntimeClassName="",否则分数卡 pod 会卡在 admission。 - NvFractions 模式要先装 gpu-sharing operator。 顺序反了 KAI 不会发现 GpuSharingConfig CRD,需要重启 KAI operator。
- CDI + NRI 配置要一致。 如果 GPU Operator NRI 启用,KAI 自动跳过 runtimeClassName 注入;如果用 CDI 但没 NRI,要手动设 --set-string admission.gpuFractionRuntimeClassName=""。
- Air-gapped 环境要镜像两个 OCI: KAI 主 chart + gpu-fractioning 子 chart。
- v0.18.x 是 LTS 分支。 升级前看 docs/migrationguides,KAI v0.10 → v0.12 API 有 breaking change(global.gpuSharing → global.gpuSharingMode)。
- PodGroup 在 CRD 之外可以外部创建。 多个 workload 想加入同一 gang,可以外部建 PodGroup,pod 设 pod-group-name: xxx 加入。这种 pattern 在 KubeRay + Dynamo 集成里很常见。
- 跨 namespace 队列不能交叉引用。 queue 是 cluster-scoped 资源,但 quota 计算跟 namespace 解耦——这跟 default scheduler 的 ResourceQuota 完全不一样,要重新理解。
八、替代方案对比
| 维度 | KAI Scheduler | Volcano | YuniKorn | default scheduler |
|---|---|---|---|---|
| GPU 拓扑感知 | ✅ TAS + NVLink | ⚠️ 基础 | ❌ | ❌ |
| GPU Sharing | ✅ HamiCore / NvFractions | ❌ | ❌ | ❌ |
| DRF + Time-based Fairshare | ✅ | ⚠️ 仅容量 | ✅ | ❌ |
| Hierarchical PodGroups | ✅ | ✅ JobSet | ❌ | ❌ |
| NVIDIA Grove 集成 | ✅ | ❌ | ❌ | ❌ |
| KubeRay 集成 | ✅ | ⚠️ | ❌ | ❌ |
| CNCF 状态 | Sandbox | incubating | incubating | 核心组件 |
| 维护方 | NVIDIA | Volcano Community | Apache | K8s SIG |
| 协议 | Apache-2.0 | Apache-2.0 | Apache-2.0 | Apache-2.0 |
选型建议:
-
GPU 集群 + 多团队 + 推理 + 训练混合 → KAI Scheduler(首选)
-
纯 HPC 批量作业(无 GPU 拓扑要求) → Volcano
-
大数据 / Spark / 异构资源池 → YuniKorn
-
< 4 张卡 / 单团队 / 不需要公平 → default scheduler 就够
九、海少视角的判断
KAI Scheduler 我从 v0.5 一直跟进到现在 v0.18,这是 2026 年我最推荐的 GPU 集群调度器——没有之一。三个原因:
第一,NVIDIA 官方维护 + CNCF Sandbox 双保险。项目活跃度看 GitHub 就有数——单周支持 2 个 release,breaking change 文档写得清清楚楚,roadmap 公开透明。Apache-2.0 协议,跑路风险极低。
第二,生态绑得死。KubeRay、Dynamo、Grove(NVIDIA disaggregated serving)全部原生集成,你用 vLLM + Ray + KAI 这套搭推理集群是最顺的;训练用 PyTorchJob + KAI 这套也是 NVIDIA 主推的标准。
第三,真的解决"调度公平"这个痛点。DRF + Time-based Fairshare + Min Guaranteed Runtime 这三个特性组合起来,把多团队 GPU 集群的资源纠纷自动化了——不需要靠"工单申请卡"这种流程。
什么时候不要用: 如果你只有 1-2 张卡、单团队、纯推理 workload——KAI 反而 over-kill,default scheduler + basic GPU Operator 就够了。如果你要做"AI 平台"对外提供 GPU 资源(多个租户),KAI 是标配。
最后补一句,v0.10.0 的 TAS 是 2025 年最大的升级,GB200 / GB300 的 NVL72 拓扑里效果尤其明显。如果你们在用 H100 集群做 NVLink-aware 训练,强烈建议升级到 v0.18 LTS 分支。
工具信息卡:
-
License: Apache-2.0
-
Stars: 1.5k+
-
最新版本: v0.18.5(2026-10-11)
-
CNCF 状态: Sandbox
-
协议: Helm OCI chart
-
社区: CNCF Slack #kai-scheduler,双周一会(周一 17:00 CEST)