K8s 排障别再人肉 describe 了:k8sgpt 实战与最佳实践

技术教程 · K8s · 排障 · 2026-09-30

K8s 排障别再人肉 describe 了:k8sgpt 实战与最佳实践

凌晨那 40 分钟,我一直在做重复劳动

上周三凌晨 1 点,告警响了:核心链路的一个服务 Pod 在 CrashLoopBackOff 里反复横跳。

我做的第一件事还是老三样:先 kubectl get pods -A 扫一遍定位到 Pod,再 kubectl describe pod 翻 Events,最后 kubectl logs --previous 看上一轮退出原因。三个终端窗口来回切,Events 一屏一屏滚,四十分钟后才发现——Deployment 里的启动探针引用了一个 ConfigMap 里根本不存在的 key,容器启动脚本直接 exit 1。

问题本身很小,找问题的过程很蠢。

这类"配置型故障"占了我们自建集群告警的大头:不是疑难杂症,只是信息散落在十几个字段里,靠人肉聚。后来我把 k8sgpt 同时装进了本地终端和集群里,现在同样的排障,先跑一条命令拿结论,再去 kubectl 验证——40 分钟变成了个位数分钟。

它到底做了什么

k8sgpt(Kubernetes Superpowers)是 CNCF Sandbox 项目,Go 写的 CLI + Operator,Apache-2.0,GitHub 8.2k stars,最新 release v0.4.39(2026-09)。它的思路很直白:把 SRE 的经验固化成一批 analyzer,把散落在对象里的关键信息抠出来,再用 LLM 翻译成人话。

最有价值的一点是:analyzer 部分完全不需要 AI。 k8sgpt analyze 纯本地跑,不发出任何网络请求,就是把常见的 K8s 反模式抓出来。只有加 --explain 时才调用你配置的模型。

能力一:不花一分钱 API 的静态体检

默认启用 14 个 analyzer,覆盖 Pod / PVC / ReplicaSet / Service / Event / Ingress / StatefulSet / Deployment / Job / CronJob / Node / MutatingWebhook / ValidatingWebhook / ConfigMap。可选再打开 HPA、PDB、NetworkPolicy、Gateway API、log、storage、security、OLM 等,总数 30+。


# 什么都不配,直接扫
k8sgpt analyze

# 只看某个命名空间的 Pod
k8sgpt analyze --filter=Pod --namespace=prod

# 输出 JSON,方便塞进巡检流水线
k8sgpt analyze --filter=Service --output=json

输出长这样(示意):


AI Provider: openai
0: Deployment/prod/payment-api
- Error: [Pod/prod/payment-api-7f9c-2xk4p] container "payment" is in waiting state (reason: "CrashLoopBackOff")
1: Service/prod/payment-svc
- Error: Service has no endpoints

不需要 explain,这已经足够让我知道该去哪个对象上动手了。

我们把它接进了每日巡检:凌晨 4 点跑一次全量 k8sgpt analyze --output=json,把结果丢给一个小脚本比对昨天,只看新增项。好处是静态告警不再需要人守夜,第二天上班看到的是一份「昨天新出现的问题清单」,而不是几百条重复的告警噪音。

能力二:--explain 把结论翻成人话


k8sgpt generate                      # 拿 OpenAI key
k8sgpt auth add --backend openai --model gpt-4o-mini
k8sgpt analyze --explain --filter=Service --namespace=prod
k8sgpt analyze --explain --with-doc  # 顺带把官方文档链接带上

--with-doc 这个开关很实用:它会把对应的 Kubernetes 官方文档地址附在结论后面。对刚接集群的同学来说,「结论 + 出处」比单纯一句 AI 建议可信得多。我们内网集群则统一走 ollama,一是数据不出网,二是排查这种场景对模型能力要求不高,8B 级别已经够用,延迟也稳定。

支持的 backend 也很全:openai、azureopenai、cohere、amazonbedrock、google、googlevertexai、huggingface、watsonxai、litellm,以及最重要的两个本地选项 ollama 和 localai。

能力三:本地模型 + 脱敏,生产环境才敢用

把集群对象名字发给外部 LLM,很多团队的安全同学是第一个不同意的。k8sgpt 给的两条路:


# 1) 本地模型,数据不出内网
k8sgpt auth add --backend ollama --model llama3.1:8b --baseurl http://localhost:11434/v1
k8sgpt analyze --explain --backend ollama

# 2) 走云端时开脱敏:对象名换成随机 key 发出去,返回结果再还原
k8sgpt analyze --explain --anonymize

脱敏的机制是:发送前把对象名替换成随机串(例如 fake-deployment → tGLcCRcHa1Ce5Rs),AI 返回的建议里同样带随机串,本地再还原成真实名字。你在终端看到的仍然是可以直接照着改的提示。

能力四:常驻集群 + MCP

CLI 是值班时用的,Operator 是让它 7x24 在集群里跑:


helm repo add k8sgpt https://charts.k8sgpt.ai/
helm repo update
helm install k8sgpt k8sgpt/k8sgpt-operator -n k8sgpt-operator-system --create-namespace

然后定义一个 K8sGPT CR,它就会在后台定期分析,并把结果写成 Result 对象——你可以 kubectl get results,也可以直接打到 Slack:


apiVersion: core.k8sgpt.ai/v1alpha1
kind: K8sGPT
metadata:
  name: k8sgpt-sample
  namespace: k8sgpt-operator-system
spec:
  ai:
    enabled: true
    backend: openai
    model: gpt-4o-mini
    anonymized: true          # 生产务必打开
    secret:
      name: k8sgpt-sample-secret
      key: openai-api-key
  sink:
    type: slack
    secret:
      name: slack-webhook
      key: url
  filters:
    - Ingress
    - Service


kubectl create secret generic k8sgpt-sample-secret \
  --from-literal=openai-api-key=$OPENAI_TOKEN -n k8sgpt-operator-system

能力五:一份 kubeconfig 看多集群

Operator 还支持通过 kubeconfig 监控远端集群,这一点对做平台工程、管一队集群的场景很关键。只要集群里有符合命名约定的 ${CLUSTERNAME}-kubeconfig Secret(Cluster API 环境默认就是这个规则,data key 是 value),就不用往被管集群里塞任何东西:


apiVersion: core.k8sgpt.ai/v1alpha1
kind: K8sGPT
metadata:
  name: capi-quickstart
  namespace: k8sgpt-operator-system
spec:
  ai:
    anonymized: true
    backend: openai
    model: gpt-4o-mini
  kubeconfig: capi-quickstart-kubeconfig

要注意的是:Cluster API 自动生成的 kubeconfig 绑的是 admin 用户,等于 cluster-admin 权限。如果团队走最小权限原则,得自己准备一份受限的 kubeconfig 再塞进去。

另外 v0.4.14 之后它自带 MCP server,可以直接挂到 Claude Desktop 里:


k8sgpt serve --mcp --mcp-http --mcp-port 8089


{
  "mcpServers": {
    "k8sgpt": { "command": "k8sgpt", "args": ["serve", "--mcp"] }
  }
}

配好之后你就能直接问"我这个集群现在有什么问题",它在后台调 analyzer 再回答。

一个端到端实战:Service 没有 endpoints

这是我最常遇到、也最适合放手交给 k8sgpt 的一类问题。现象是前端 502,Pod 本身却全是 Running。


$ k8sgpt analyze --filter=Service --namespace=prod --explain

结果直接指出了两件我没注意到的事:

  1. Service/prod/order-svc 的 selector 是 app=order-api,而 Deployment 实际打的标签是 app=order-service;

  2. 同名有一个 NetworkPolicy 只放行了来自 app=gateway 的流量,而调用方是 Ingress 控制器。

第一条是我肉眼能查到的,第二条是我 40 分钟里大概率会漏掉的——因为没人会第一时间想到去翻 NetworkPolicy。

算一笔账:改一个 selector 是一分钟的事,但定位它花了大半个小时。真正浪费的不是修复时间,而是「在十几个字段里反复确认自己没看漏」的时间——而这恰好是机器擅长、人容易疲劳的部分。

想优化耗时可以用 stats 模式看每个 analyzer 的开销(官方示例):


$ k8sgpt analyze -s
- Analyzer Ingress took 47.1ms
- Analyzer Deployment took 156.6ms
- Analyzer Node took 160.1ms
- Analyzer Pod took 5.66s
- Analyzer Service took 38.58s

Service analyzer 慢是因为它要跨对象做关联。所以我在 CI/巡检里只跑 --filter 收敛过的子集,值班时才跑全量。

三个必须知道的坑

  1. Events 目前没有脱敏。 官方 issue #560 还开着:Pod/Log/ReplicaSet 等 analyzer 会把事件消息原样发给 AI,事件里可能带业务名、镜像名甚至环境信息。所以我在生产集群里只敢用本地 ollama,或者干脆不开 explain 只看 analyzer 结论。

  2. 全量 explain 的 token 成本不低。 一次不带 filter 的 --explain 会把几十个对象的分析结果一起塞进 prompt,我实测过一次就老实了。现在的习惯是:默认 analyze 不带 explain,看准了再带 --filter --namespace 做定向解释。

  3. 自动修复是 alpha,默认关闭,别在核心业务上开。 Operator 现在能对 ImagePullBackOff 这类镜像失败做受限修复,但它的安全设计值得注意——LLM 拿不到写权限,Operator 自己重新拉取对象、生成语义 patch、只允许一条已批准的镜像路径,并先拿 API server 做 dry-run,过期/过宽/不安全的提案会被拒绝,而且修的是 owner workload 的期望状态,不是临时改 Pod。这个设计我认可,但生产上仍然建议先只在测试命名空间验证,并盯紧审计字段。

适合谁,以及替代方案

适合: 多集群巡检、值班快速定位、给不熟悉 K8s 内部结构的同学一层"翻译"。它解决的是"信息聚合"和"经验固化",不是"性能分析"。

不适合: 想拿它替代 Prometheus 告警(它不是指标系统),或者指望它做深度性能剖析(Pod analyzer 只给你现象)。

同类怎么选:

我的判断

k8sgpt 的价值不在"AI"这两个字,而在那 30 多个 analyzer:它们是把资深 SRE 的排查清单写成了代码。AI 只是最后一公里的翻译层,而且这个翻译层你随时可以换成本地模型甚至关掉。

真正的改变是排障顺序:以前是"人猜测→查对象→排除",现在是"先看清单→再验证"。前者依赖经验,后者依赖工具——对团队来说,后者可以复制。

安装成本也很低,brew install k8sgpt 一分钟的事,先只跑 k8sgpt analyze 不带 explain,零成本、零外发。这是我认为今年最值得顺手装上的 K8s 工具之一。

如果你的集群里也堆着一堆「症状很清楚、但得翻半天才知道根因」的告警,先把 analyzer 跑起来看看——很可能你会像我们一样,发现一半的问题根本不需要 AI 来回答。