K8s 排障别再人肉 describe 了:k8sgpt 实战与最佳实践
技术教程 · K8s · 排障 · 2026-09-30
K8s 排障别再人肉 describe 了:k8sgpt 实战与最佳实践
凌晨那 40 分钟,我一直在做重复劳动
上周三凌晨 1 点,告警响了:核心链路的一个服务 Pod 在 CrashLoopBackOff 里反复横跳。
我做的第一件事还是老三样:先 kubectl get pods -A 扫一遍定位到 Pod,再 kubectl describe pod 翻 Events,最后 kubectl logs --previous 看上一轮退出原因。三个终端窗口来回切,Events 一屏一屏滚,四十分钟后才发现——Deployment 里的启动探针引用了一个 ConfigMap 里根本不存在的 key,容器启动脚本直接 exit 1。
问题本身很小,找问题的过程很蠢。
这类"配置型故障"占了我们自建集群告警的大头:不是疑难杂症,只是信息散落在十几个字段里,靠人肉聚。后来我把 k8sgpt 同时装进了本地终端和集群里,现在同样的排障,先跑一条命令拿结论,再去 kubectl 验证——40 分钟变成了个位数分钟。
它到底做了什么
k8sgpt(Kubernetes Superpowers)是 CNCF Sandbox 项目,Go 写的 CLI + Operator,Apache-2.0,GitHub 8.2k stars,最新 release v0.4.39(2026-09)。它的思路很直白:把 SRE 的经验固化成一批 analyzer,把散落在对象里的关键信息抠出来,再用 LLM 翻译成人话。
最有价值的一点是:analyzer 部分完全不需要 AI。 k8sgpt analyze 纯本地跑,不发出任何网络请求,就是把常见的 K8s 反模式抓出来。只有加 --explain 时才调用你配置的模型。
能力一:不花一分钱 API 的静态体检
默认启用 14 个 analyzer,覆盖 Pod / PVC / ReplicaSet / Service / Event / Ingress / StatefulSet / Deployment / Job / CronJob / Node / MutatingWebhook / ValidatingWebhook / ConfigMap。可选再打开 HPA、PDB、NetworkPolicy、Gateway API、log、storage、security、OLM 等,总数 30+。
# 什么都不配,直接扫
k8sgpt analyze
# 只看某个命名空间的 Pod
k8sgpt analyze --filter=Pod --namespace=prod
# 输出 JSON,方便塞进巡检流水线
k8sgpt analyze --filter=Service --output=json
输出长这样(示意):
AI Provider: openai
0: Deployment/prod/payment-api
- Error: [Pod/prod/payment-api-7f9c-2xk4p] container "payment" is in waiting state (reason: "CrashLoopBackOff")
1: Service/prod/payment-svc
- Error: Service has no endpoints
不需要 explain,这已经足够让我知道该去哪个对象上动手了。
我们把它接进了每日巡检:凌晨 4 点跑一次全量 k8sgpt analyze --output=json,把结果丢给一个小脚本比对昨天,只看新增项。好处是静态告警不再需要人守夜,第二天上班看到的是一份「昨天新出现的问题清单」,而不是几百条重复的告警噪音。
能力二:--explain 把结论翻成人话
k8sgpt generate # 拿 OpenAI key
k8sgpt auth add --backend openai --model gpt-4o-mini
k8sgpt analyze --explain --filter=Service --namespace=prod
k8sgpt analyze --explain --with-doc # 顺带把官方文档链接带上
--with-doc 这个开关很实用:它会把对应的 Kubernetes 官方文档地址附在结论后面。对刚接集群的同学来说,「结论 + 出处」比单纯一句 AI 建议可信得多。我们内网集群则统一走 ollama,一是数据不出网,二是排查这种场景对模型能力要求不高,8B 级别已经够用,延迟也稳定。
支持的 backend 也很全:openai、azureopenai、cohere、amazonbedrock、google、googlevertexai、huggingface、watsonxai、litellm,以及最重要的两个本地选项 ollama 和 localai。
能力三:本地模型 + 脱敏,生产环境才敢用
把集群对象名字发给外部 LLM,很多团队的安全同学是第一个不同意的。k8sgpt 给的两条路:
# 1) 本地模型,数据不出内网
k8sgpt auth add --backend ollama --model llama3.1:8b --baseurl http://localhost:11434/v1
k8sgpt analyze --explain --backend ollama
# 2) 走云端时开脱敏:对象名换成随机 key 发出去,返回结果再还原
k8sgpt analyze --explain --anonymize
脱敏的机制是:发送前把对象名替换成随机串(例如 fake-deployment → tGLcCRcHa1Ce5Rs),AI 返回的建议里同样带随机串,本地再还原成真实名字。你在终端看到的仍然是可以直接照着改的提示。
能力四:常驻集群 + MCP
CLI 是值班时用的,Operator 是让它 7x24 在集群里跑:
helm repo add k8sgpt https://charts.k8sgpt.ai/
helm repo update
helm install k8sgpt k8sgpt/k8sgpt-operator -n k8sgpt-operator-system --create-namespace
然后定义一个 K8sGPT CR,它就会在后台定期分析,并把结果写成 Result 对象——你可以 kubectl get results,也可以直接打到 Slack:
apiVersion: core.k8sgpt.ai/v1alpha1
kind: K8sGPT
metadata:
name: k8sgpt-sample
namespace: k8sgpt-operator-system
spec:
ai:
enabled: true
backend: openai
model: gpt-4o-mini
anonymized: true # 生产务必打开
secret:
name: k8sgpt-sample-secret
key: openai-api-key
sink:
type: slack
secret:
name: slack-webhook
key: url
filters:
- Ingress
- Service
kubectl create secret generic k8sgpt-sample-secret \
--from-literal=openai-api-key=$OPENAI_TOKEN -n k8sgpt-operator-system
能力五:一份 kubeconfig 看多集群
Operator 还支持通过 kubeconfig 监控远端集群,这一点对做平台工程、管一队集群的场景很关键。只要集群里有符合命名约定的 ${CLUSTERNAME}-kubeconfig Secret(Cluster API 环境默认就是这个规则,data key 是 value),就不用往被管集群里塞任何东西:
apiVersion: core.k8sgpt.ai/v1alpha1
kind: K8sGPT
metadata:
name: capi-quickstart
namespace: k8sgpt-operator-system
spec:
ai:
anonymized: true
backend: openai
model: gpt-4o-mini
kubeconfig: capi-quickstart-kubeconfig
要注意的是:Cluster API 自动生成的 kubeconfig 绑的是 admin 用户,等于 cluster-admin 权限。如果团队走最小权限原则,得自己准备一份受限的 kubeconfig 再塞进去。
另外 v0.4.14 之后它自带 MCP server,可以直接挂到 Claude Desktop 里:
k8sgpt serve --mcp --mcp-http --mcp-port 8089
{
"mcpServers": {
"k8sgpt": { "command": "k8sgpt", "args": ["serve", "--mcp"] }
}
}
配好之后你就能直接问"我这个集群现在有什么问题",它在后台调 analyzer 再回答。
一个端到端实战:Service 没有 endpoints
这是我最常遇到、也最适合放手交给 k8sgpt 的一类问题。现象是前端 502,Pod 本身却全是 Running。
$ k8sgpt analyze --filter=Service --namespace=prod --explain
结果直接指出了两件我没注意到的事:
-
Service/prod/order-svc的 selector 是app=order-api,而 Deployment 实际打的标签是app=order-service; -
同名有一个 NetworkPolicy 只放行了来自
app=gateway的流量,而调用方是 Ingress 控制器。
第一条是我肉眼能查到的,第二条是我 40 分钟里大概率会漏掉的——因为没人会第一时间想到去翻 NetworkPolicy。
算一笔账:改一个 selector 是一分钟的事,但定位它花了大半个小时。真正浪费的不是修复时间,而是「在十几个字段里反复确认自己没看漏」的时间——而这恰好是机器擅长、人容易疲劳的部分。
想优化耗时可以用 stats 模式看每个 analyzer 的开销(官方示例):
$ k8sgpt analyze -s
- Analyzer Ingress took 47.1ms
- Analyzer Deployment took 156.6ms
- Analyzer Node took 160.1ms
- Analyzer Pod took 5.66s
- Analyzer Service took 38.58s
Service analyzer 慢是因为它要跨对象做关联。所以我在 CI/巡检里只跑 --filter 收敛过的子集,值班时才跑全量。
三个必须知道的坑
-
Events 目前没有脱敏。 官方 issue #560 还开着:Pod/Log/ReplicaSet 等 analyzer 会把事件消息原样发给 AI,事件里可能带业务名、镜像名甚至环境信息。所以我在生产集群里只敢用本地 ollama,或者干脆不开 explain 只看 analyzer 结论。
-
全量 explain 的 token 成本不低。 一次不带 filter 的
--explain会把几十个对象的分析结果一起塞进 prompt,我实测过一次就老实了。现在的习惯是:默认analyze不带 explain,看准了再带--filter --namespace做定向解释。 -
自动修复是 alpha,默认关闭,别在核心业务上开。 Operator 现在能对 ImagePullBackOff 这类镜像失败做受限修复,但它的安全设计值得注意——LLM 拿不到写权限,Operator 自己重新拉取对象、生成语义 patch、只允许一条已批准的镜像路径,并先拿 API server 做 dry-run,过期/过宽/不安全的提案会被拒绝,而且修的是 owner workload 的期望状态,不是临时改 Pod。这个设计我认可,但生产上仍然建议先只在测试命名空间验证,并盯紧审计字段。
适合谁,以及替代方案
适合: 多集群巡检、值班快速定位、给不熟悉 K8s 内部结构的同学一层"翻译"。它解决的是"信息聚合"和"经验固化",不是"性能分析"。
不适合: 想拿它替代 Prometheus 告警(它不是指标系统),或者指望它做深度性能剖析(Pod analyzer 只给你现象)。
同类怎么选:
-
Popeye — 纯规则集群体检,无 AI、无网络依赖,最轻;和 k8sgpt 的 analyzer 部分定位重叠
-
kube-linter / kube-score — 面向 YAML 静态检查,放在 CI 里更合适
-
HolmesGPT — 更偏"告警触发后的根因调查",和告警系统结合更紧
-
kubectl-ai — 偏自然语言转 kubectl 命令,是另一个方向
我的判断
k8sgpt 的价值不在"AI"这两个字,而在那 30 多个 analyzer:它们是把资深 SRE 的排查清单写成了代码。AI 只是最后一公里的翻译层,而且这个翻译层你随时可以换成本地模型甚至关掉。
真正的改变是排障顺序:以前是"人猜测→查对象→排除",现在是"先看清单→再验证"。前者依赖经验,后者依赖工具——对团队来说,后者可以复制。
安装成本也很低,brew install k8sgpt 一分钟的事,先只跑 k8sgpt analyze 不带 explain,零成本、零外发。这是我认为今年最值得顺手装上的 K8s 工具之一。
如果你的集群里也堆着一堆「症状很清楚、但得翻半天才知道根因」的告警,先把 analyzer 跑起来看看——很可能你会像我们一样,发现一半的问题根本不需要 AI 来回答。