GPU 集群调度利器:KAI Scheduler 实战与最佳实践

技术教程 · AI 与 AIOps · GPU 与调度 · 2026-10-14

GPU 集群调度利器:KAI Scheduler 实战与最佳实践

一、AI 团队的「GPU 排队」困局

上个月帮一个做 LLM 微调的客户做集群治理,对方上来就甩给我一张监控截图:16 张 H100 集群,利用率长期在 35% 上下,但训练团队说"永远抢不到卡",推理团队说"延迟被训练 Job 抖得没法看",平台团队说"加卡没用,加了也轮不到我们"。一句话总结——GPU 不是稀缺资源,GPU 调度权才是稀缺资源。

我去看了一眼他们的集群:标准的 kubeadm + NVIDIA GPU Operator,default scheduler 跑着,多业务用 namespace 隔离,资源用 LimitRange + ResourceQuota 做硬切分。看起来很合理对不对?问题就出在这里。default scheduler 不知道什么是"AI Job",不知道什么是"Gang",不知道什么是"GPU 拓扑亲和性"——它只是一个普通的 pod 调度器,把你的 16 卡 H100 拆成 16 个 1 卡 pod 撒到不同 Node 上,NVLink 跨卡通信带宽变成 PCIe,于是分布式训练慢 30%,推理服务的 cold start 抖了三倍 SLA。

这时候你需要的不是再加几张卡,而是换一个懂 AI 业务的调度器。今天要讲的就是 NVIDIA 开源、刚进 CNCF Sandbox 的 KAI Scheduler(前身 Run:ai Scheduler,NVIDIA 收购 Run:ai 后改名开源)。Apache-2.0 协议,1.5k+ stars,298 forks,最新版本 v0.18.5(2026-10-11),Active 状态,单周支持 2.0+ PR,NVIDIA 官方维护。它解决了我们前面所有的痛点。

二、为什么 default scheduler 干不了这事

我把 default scheduler 在 AI 集群上的"不能"列一下,看完你就知道 KAI 为什么存在:

  1. 没有 Gang Scheduling 概念。 一个 PyTorchJob 要 master + 8 worker 共 9 个 pod,default scheduler 会先调度前 3 个 pod 把卡占完,剩下的 pod Pending,死锁。Volcano 解决了这个问题,但 KAI 是 kube-batch 系血缘里更现代、更 GPU-native 的实现。
  2. 没有 GPU 拓扑感知。 8 卡 H100 NVLink 全互联的拓扑是 NVLink domain,跨 socket / 跨 node 的拓扑是 PCIe。default scheduler 完全不管,把 worker 撒到 4 个 node 上训练速度直接腰斩。
  3. 没有"GPU 共享"概念。 default scheduler 看 nvidia.com/gpu: 1 是整数,整张卡被一个 pod 独占。LLM inference 在线 QPS 不高,一张 H100 推理只占 20% 显存——剩余 80% 浪费。KAI 支持把 1 张卡切成 0.25、0.5、0.75 切分给不同 pod(HARiCore/MIG/NvFractions 三种模式)。
  4. 没有"团队公平"。 ResourceQuota 是静态硬切,不做抢占回填,不做 DRF,不做 over-quota 的按权重分配。KAI 的 Hierarchical Queues + DRF + Time-based Fairshare 一起解决了"历史欠公平、按需弹性"这两件事。
  5. 没有"在 quota 内优先级"。 default scheduler 优先级在调度那一刻有效,进入运行后就失效。KAI 的 workload priority 与 preemptibility 解耦——优先级高可以抢,但运行时还有"min guaranteed runtime"保护期。

一句话:default scheduler 是通用调度器,KAI 是AI workload 的调度器。

三、KAI Scheduler 是什么

KAI Scheduler(Kubernetes AI Scheduler)是 NVIDIA 在 2025-02 开源的 Kubernetes 原生调度器,前身是 Run:ai Scheduler。CNCF Sandbox 项目(2025 年中接受),Apache-2.0,基于 kube-batch 演进。它不是替代 default scheduler,而是与 default scheduler 并存:你给 Pod 指定 schedulerName: kai-scheduler,只有这类 Pod 走 KAI 调度,其他 Pod 还是走 default。

它最擅长的场景:

四、核心能力(四大金刚)

能力 1:分层队列 + DRF + Time-based Fairshare

队列是 KAI 的资源分配基本单位。可以无限层级,每个叶子队列有一个 quota 和 limit。最关键的是支持 over-quota weight 和 time-based fairshare:超 quota 时按权重比例分配,历史用得多则横向看一段时间公平。


apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
  name: research-team
spec:
  displayName: "Research Team"
  priority: 100
  resources:
    cpu:
      quota: 1000      # 保证 1 核
      overQuotaWeight: 1
      limit: 2000       # 最多 2 核
    memory:
      quota: 4096      # 4GB 保证
      limit: 8192
    gpu:
      quota: 1          # 保证 1 张
      overQuotaWeight: 1
      limit: 2          # 最多 2 张
---
apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
  name: ml-team
spec:
  parentQueue: "research-team"
  priority: 200
  resources:
    cpu:
      quota: 500
      overQuotaWeight: 2   # 权重更高,超 quota 时占 2 倍比例
    gpu:
      quota: 1

真实场景: 训练团队 quota = 4 卡,推理团队 quota = 2 卡,但训练团队凌晨不训练(train 团队晚上 8 点后基本空闲),推理团队白天一直想用更多——DRF + Time-based Fairshare 让推理团队白天超 quota 多用 4 张训练团队的卡(按权重),但训练团队晚上 9 点开始训练后,调度器把推理团队的低优先级 pod 抢走,把卡还给训练团队——自动按时间窗均衡,不需要人工挪卡。

能力 2:Gang Scheduling + 分布式训练

分布式训练的灵魂是"all-or-nothing"——master 没起来,worker 起了也是浪费。KAI 通过 PodGroup + Hierarchical SubGroup 实现:


apiVersion: kubeflow.org/v1
kind: PyTorchJob
metadata:
  name: llama-finetune
  annotations:
    kai.scheduler/queue: "training-queue"
spec:
  schedulerName: kai-scheduler
  pytorchReplicaSpecs:
    Master:
      replicas: 1
      template:
        spec:
          containers:
          - name: pytorch
            image: pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime
            resources:
              limits:
                nvidia.com/gpu: 2
    Worker:
      replicas: 4
      template:
        spec:
          containers:
          - name: pytorch
            image: pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime
            resources:
              limits:
                nvidia.com/gpu: 2

这 5 个 pod(1 master + 4 worker)要么同时 ready,要么全部 Pending 等资源。不会出现"3 个 worker 起来但 master 没起"的死锁。JobSet 还有更精细的两级 SubGroup 控制——比如 Disaggregated Serving(prefill + decode)可以 prefill group 优先调度,decode group 跟随。

能力 3:GPU Sharing — 一张卡切给多个 pod

这是 KAI 的"杀手锏"之一,也是我从 Volcano / YuniKorn 切到 KAI 的关键理由。它支持三种模式:

模式用途运行时隔离
Disabled拒绝分数卡请求无
NonMemoryEnforced默认,分数卡调度但不限制显存(容器可能用到超额)无
HamiCore用 HARi-core 做 CUDA 显存隔离HARi-core
NvFractions用 gpu-fractioning + NvFractions 注解CDI/NRI

开启 HARiCore 模式:


helm upgrade -i kai-scheduler oci://ghcr.io/kai-scheduler/kai-scheduler/kai-scheduler \
  -n kai-scheduler --create-namespace \
  --set global.gpuSharingMode=HamiCore

提交分数卡 Pod:


apiVersion: v1
kind: Pod
metadata:
  name: llm-inference-qwen
  annotations:
    gpu-fraction: "0.25"      # 用 1/4 张卡
    gpu-memory: "4096"        # 限制 4GB 显存
spec:
  schedulerName: kai-scheduler
  containers:
  - name: inference
    image: vllm/vllm-openai:latest
    limits:
      nvidia.com/gpu: 1       # 仍写整数,由注解改写

真实场景: 一张 H100 切 4 份,每份跑一个 Qwen-7B 在线推理 Pod(QPS 不高,单 Pod 显存 10GB)。原来一张卡只能跑一个推理服务,现在跑 4 个,利用率从 25% 提到 80%+。

能力 4:Topology-Aware Scheduling (TAS)

2025-10 v0.10.0 发布的核心特性。H100 / GB200 集群里 GPU 之间有 NVLink / NVSwitch 拓扑,性能差 30%-50%。TAS 让调度器根据 GPU 拓扑把通信密集的 pod 排在 NVLink domain 内:


apiVersion: scheduling.run.ai/v2
kind: PodGroup
metadata:
  name: llama-train
spec:
  queue: "training-queue"
  minMember: 8   # 8 个 pod 必须同时起
  topology:
    policy: "numa-aware"
    gpuTopology:
      domain: "nvlink"   # 同一 NVLink domain

KAI 自动把 8 个 worker 排在同一 NVLink 域内,避免 PCIe 通信瓶颈。这个特性在 GB200(NVL72)上效果尤其明显——同一个 rack 内 72 张卡全互联,跨 rack 慢 3 倍。

五、安装部署


# 1. 前置:装 NVIDIA GPU Operator
helm install gpu-operator nvidia/gpu-operator \
  -n gpu-operator --create-namespace \
  --set driver.enabled=true

# 2. 装 KAI Scheduler(启用 GPU 共享)
LATEST=$(curl -s https://api.github.com/repos/kai-scheduler/KAI-scheduler/releases/latest | jq -r '.name')
echo "Latest: $LATEST"

helm upgrade -i kai-scheduler oci://ghcr.io/kai-scheduler/kai-scheduler/kai-scheduler \
  -n kai-scheduler --create-namespace \
  --version $LATEST \
  --set global.gpuSharingMode=HamiCore


# 3. 验证
kubectl get pods -n kai-scheduler
# 看到 kai-scheduler-controller + kai-scheduler-scheduler + kai-resource-isolator 运行中
kubectl get queues -n default
# 看到 default-queue 叶子队列就绪

六、实战示例:8 卡 H100 集群搭建

假设你拿到一个 8 卡 H100 节点(单 node,NVLink domain 内全互联),两个团队:训练(Training)和推理(Inference)。

第一步:建队列分层


apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
  name: ai-parent
spec:
  displayName: "AI Platform"
---
apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
  name: training-queue
spec:
  parentQueue: "ai-parent"
  priority: 100
  resources:
    gpu:
      quota: 4          # 训练保证 4 卡
      limit: 6          # 最多 6 卡(高峰可抢 inference)
    cpu: { quota: 8000, limit: 16000 }
---
apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
  name: inference-queue
spec:
  parentQueue: "ai-parent"
  priority: 80         # 优先级低于训练
  resources:
    gpu:
      quota: 4
      limit: 8

第二步:提交分布式训练


apiVersion: kubeflow.org/v1
kind: PyTorchJob
metadata:
  name: llama3-finetune
  annotations:
    kai.scheduler/queue: "training-queue"
spec:
  schedulerName: kai-scheduler
  pytorchReplicaSpecs:
    Master: { replicas: 1, template: { spec: { containers: [{name: p, image: pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime, resources: {limits: {nvidia.com/gpu: 1}}}]}}}
    Worker: { replicas: 7, template: { spec: { containers: [{name: p, image: pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime, resources: {limits: {nvidia.com/gpu: 1}}}]}}}

KAI 会自动:把 8 pod gang scheduling 在 8 张卡上、TAS 检查 NVLink 拓扑、quota 检查通过、priority 高于 inference。

第三步:推理服务用分数卡


apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-qwen
spec:
  replicas: 4
  template:
    metadata:
      annotations:
        gpu-fraction: "0.25"
        gpu-memory: "6144"
    spec:
      schedulerName: kai-scheduler
      containers:
      - name: vllm
        image: vllm/vllm-openai:latest
        resources:
          limits:
            nvidia.com/gpu: 1

4 个推理 pod 每张卡用 1/4,4 张卡正好凑成 1 张卡,剩余 4 张给训练——完美利用 8 卡节点。

七、注意事项 / 坑

  1. 必须装 NVIDIA GPU Operator。 KAI 自己不做 device plugin / driver 管理,必须有 GPU Operator 提供 nvidia.com/gpu resource。这是新手最常踩的坑。
  2. gpu-operator < v25.10.0 需要 --set-string admission.gpuFractionRuntimeClassName="",否则分数卡 pod 会卡在 admission。
  3. NvFractions 模式要先装 gpu-sharing operator。 顺序反了 KAI 不会发现 GpuSharingConfig CRD,需要重启 KAI operator。
  4. CDI + NRI 配置要一致。 如果 GPU Operator NRI 启用,KAI 自动跳过 runtimeClassName 注入;如果用 CDI 但没 NRI,要手动设 --set-string admission.gpuFractionRuntimeClassName=""。
  5. Air-gapped 环境要镜像两个 OCI: KAI 主 chart + gpu-fractioning 子 chart。
  6. v0.18.x 是 LTS 分支。 升级前看 docs/migrationguides,KAI v0.10 → v0.12 API 有 breaking change(global.gpuSharing → global.gpuSharingMode)。
  7. PodGroup 在 CRD 之外可以外部创建。 多个 workload 想加入同一 gang,可以外部建 PodGroup,pod 设 pod-group-name: xxx 加入。这种 pattern 在 KubeRay + Dynamo 集成里很常见。
  8. 跨 namespace 队列不能交叉引用。 queue 是 cluster-scoped 资源,但 quota 计算跟 namespace 解耦——这跟 default scheduler 的 ResourceQuota 完全不一样,要重新理解。

八、替代方案对比

维度KAI SchedulerVolcanoYuniKorndefault scheduler
GPU 拓扑感知✅ TAS + NVLink⚠️ 基础❌❌
GPU Sharing✅ HamiCore / NvFractions❌❌❌
DRF + Time-based Fairshare✅⚠️ 仅容量✅❌
Hierarchical PodGroups✅✅ JobSet❌❌
NVIDIA Grove 集成✅❌❌❌
KubeRay 集成✅⚠️❌❌
CNCF 状态Sandboxincubatingincubating核心组件
维护方NVIDIAVolcano CommunityApacheK8s SIG
协议Apache-2.0Apache-2.0Apache-2.0Apache-2.0

选型建议:

九、海少视角的判断

KAI Scheduler 我从 v0.5 一直跟进到现在 v0.18,这是 2026 年我最推荐的 GPU 集群调度器——没有之一。三个原因:

第一,NVIDIA 官方维护 + CNCF Sandbox 双保险。项目活跃度看 GitHub 就有数——单周支持 2 个 release,breaking change 文档写得清清楚楚,roadmap 公开透明。Apache-2.0 协议,跑路风险极低。

第二,生态绑得死。KubeRay、Dynamo、Grove(NVIDIA disaggregated serving)全部原生集成,你用 vLLM + Ray + KAI 这套搭推理集群是最顺的;训练用 PyTorchJob + KAI 这套也是 NVIDIA 主推的标准。

第三,真的解决"调度公平"这个痛点。DRF + Time-based Fairshare + Min Guaranteed Runtime 这三个特性组合起来,把多团队 GPU 集群的资源纠纷自动化了——不需要靠"工单申请卡"这种流程。

什么时候不要用: 如果你只有 1-2 张卡、单团队、纯推理 workload——KAI 反而 over-kill,default scheduler + basic GPU Operator 就够了。如果你要做"AI 平台"对外提供 GPU 资源(多个租户),KAI 是标配。

最后补一句,v0.10.0 的 TAS 是 2025 年最大的升级,GB200 / GB300 的 NVL72 拓扑里效果尤其明显。如果你们在用 H100 集群做 NVLink-aware 训练,强烈建议升级到 v0.18 LTS 分支。


工具信息卡: