凌晨两点的告警群:Ongrid 如何把 K8s 事故排查塞进飞书和钉钉

技术教程 · 可观测性 · 告警 · 2026-10-21

凌晨两点的告警群:Ongrid 如何把 K8s 事故排查塞进飞书和钉钉

凌晨两点,P95 告警响了。

老规矩:kubectl top pods -A | sort、翻 Grafana 找曲线、捞 Loki 搜关键字、再问一遍"刚才有发布吗"。最后查出来是新版本把连接池打满了,整个过程 40 分钟,其中至少 25 分钟花在把证据从一个面板搬到另一个面板。

问题从来不是"查不出来",而是排查的起点是一张白纸——你得先知道该看哪张图、哪条日志、哪个时间窗。Ongrid 想解决的正是这一步:告警一响,它自己去取证。

github.com/ongridio/ongrid,AGPL-3.0,Go + TypeScript,2026 年 5 月 23 日建的仓,到今天(10 月 21 日)1201 star、263 fork,还在 v0.18.2 这个相当年轻的版本上。topics 里 kubernetes、sre、aiops、mcp、chatops 都在。

一、它到底是怎么干活的

Ongrid 的架构分四层,看懂这四层比看它的 UI 有用得多:

L1 采集层,每台主机跑一个 ongrid-edge(单个 Go 二进制 + 4 个插件子进程:promtail / node_exporter / process_exporter / otelcol-contrib);L2 是 Prometheus + Loki + Tempo 三件套;L3 是 coordinator + 专家子 Agent 的 graph-kernel ReAct;L4 是告警规则与通知通道。

三个设计点是我真正在意的:

第一,零入站端口。 Edge 主动外联一条 geminio 隧道到 manager 的 frontier:40012(控制面),日志和链路再走 HTTPS 443 直推数据面。你的主机不需要开 22/80/443,不需要跳板机,也不需要 port-forward。在网络策略卡得死的管理集群里,这个比重不重要,开一个端口重要得多。

第二,RCA 找的是"零号病人",不是告警复述。 文档里写了 HLD-013 这个设计决策:最初他们做的只是"总结一下刚才什么告警了",后来发现运维要的不是这个——他们要的是那个启动级联反应的具体进程 / 容器 / 代码行。这个区分是整个项目的分水岭。做 AIOps 的团队十有八九死在这里:做出一堆"告警摘要器"。

第三,Agent 的预算是硬编码的。 每个调查 worker 最多 10 次工具调用,第 7 次必须开始写报告,超了就触发 salvage——把已经收集到的部分结果拼成"我们发现了什么"再走一遍结构化抽取,并在报告开头标注置信度偏低。并发上限默认 5,超了写一条 skipped 记录而不是排进队列。

这不是保守,这是承认 LLM 供应商的 rate limit 和 100 个事故同时涌入时的内存都会炸。

二、告警触发的自动调查长什么样

流程很短:incident 触发 → investigator 起 worker → worker 调工具取证 → Pass-2 用便宜模型抽结构化字段 → 报告落库 → 回填到聊天里。

抽出来的字段是这套东西真正的价值所在:

前两道闸门也值得说:severity floor 默认 warning,info 级告警静默跳过;同一 incident 的 inflight 会合并。两者都会写一条 status=skipped 的记录,UI 上你看到的是"因为什么原因跳过了",而不是永远转圈的"未开始"。这个细节做没做,看得出来是不是认真做过 oncall 工具。

想手动重跑某次调查:

curl -X POST "https://<manager>/api/v1/alerts/incidents/<id>/investigation" \
  -H "Accept-Language: zh-CN"

会先停掉正在跑的 worker,硬删旧报告,再按你的 UI 语言重新排队。severity floor 依然生效。

三、装一遍:Server 端

Prereqs 一句话说完:Linux,4GB 内存起步(推荐 8GB),/var/lib/ongrid 下留 20GB,Docker ≥ 24 带 compose v2,装 openssl。443 和 40012 都要对 edge 开放。

VER=v0.18.2
gh release download "$VER" --repo ongridio/ongrid -p 'ongrid-*-linux-amd64.tar.xz*'
sha256sum -c "ongrid-${VER}-linux-amd64.tar.xz.sha256"
tar xf "ongrid-${VER}-linux-amd64.tar.xz" && cd "ongrid-${VER}-linux-amd64"
sudo ./install.sh

这个 tarball 的设计我觉得很聪明:所有 docker 镜像都打包在里面(ongrid / ongrid-web / frontier),docker load 直接进本地,不走 Docker Hub。意味着断网环境、或者 Docker Hub 被墙的团队也能装——这对国内用户是实打实的加分项,README 里也专门给了 ongrid.cloud 的 CDN 镜像地址。

install.sh 会做的事大致是:preflight 检查 → 把配置铺到 /opt/ongrid → 建数据目录并按容器内 uid chown(这步漏了 prom/loki/tempo/grafana 首次启动就会 permission denied)→ 铺内置的 fast-bge-small-zh-v1.5 embedding 模型 → 没有证书就自签一张 365 天的 → 填 .env 里的随机强密码 → docker compose up → 轮询 /healthz 最多 60 秒 → 打印 banner。

验证:

sudo docker compose -f /opt/ongrid/docker-compose.yml ps
curl -fk https://localhost/healthz

四、装 Edge:真正连集群的那一步

UI 里 Edges → New edge,拿到 AK / SK 和一条现成的一行命令。SK 只显示一次,丢了只能删掉重建——文档建议得很直接,别去翻数据库备份。

curl -k -sSL https://<manager>/install.sh | sudo bash -s -- \
  --access-key=AK_xxxxxxxx \
  --secret-key=SK_yyyy \
  --server-edge-addr=<manager>:40012 \
  --server-http-addr=<manager>:443

装完会有自检输出:

[OK] plugin binary present: promtail
[OK] plugin binary present: otelcol-contrib
[OK] plugin binary present: node_exporter
[OK] plugin binary present: process_exporter
[OK] journald readable by ongrid-edge
[OK] self-check passed
[OK] connected: edge_id=42 via <manager>:40012

每台主机 RSS 不到 50MB。K8s 集群里就是 DaemonSet + hostNetwork + hostPID 那一套,思路和部署 node-exporter / OTel Collector 完全一样,滚动更新走边缘自己下载 bundle + sha256 校验 + systemd 重启。这里要提醒一句:日志采集和主机指标本质上是节点级视角,Pod 里跑的网络命名空间对 /var/log/* 和 journald 都不友好,所以别把它塞进容器里,老老实实 node 级装。

文档里还有个细节挺实在:promtail 这类插件需要读 /var/log/*(权限是 root:adm 640),安装器会自动把 ongrid-edge 用户加进 adm 和 systemd-journal 组。如果你用了自定义的最小化镜像或者 SELinux 严格模式,这里大概率要手工补一下。

过了企业代理的话:

# /etc/systemd/system/ongrid-edge.service.d/proxy.conf
[Service]
Environment=HTTPS_PROXY=http://proxy.corp:3128
Environment=NO_PROXY=127.0.0.1,localhost

五、五个必须知道的坑

1. 文档版本落后。 文档站安装示例里还写着 VER=v0.7.159,而 release 已经到 v0.18.2,跨了 11 个 minor。照抄文档命令大概率扑空——以 release 页为准。

2. ONGRID_PUBLIC_URL 填内网 IP 是最经典的翻车。 文档自己把它标成 "the single most common misconfiguration"。后果特别阴:控制面隧道走的是 nginx,不受影响,所以 edge 在 UI 里明明是绿的,但 Loki 和 Tempo 永远是空的。你会花半天怀疑是采集器坏了。

3. 它自带一整套可观测栈。 Server 上会同时跑 Prometheus v2.54.0、Loki 3.4.0、Tempo 2.5.0、Grafana OSS 11.1.4、MySQL 8.0、Qdrant、SearXNG。如果你已经有托管 Prometheus(这几乎是必然的),要么在 Settings 里换成 Grafana Cloud / Mimir / VictoriaMetrics,要么就是双份存储、双份成本。默认 Prom 是 90 天保留 + 20GB 封顶。

4. AGPL-3.0,而且品牌资产不在授权内。 自托管自用没问题,要往公司内部平台里嵌、或者对外提供服务,务必过一遍法务。

5. 它很新。 5 个月,98 个 open issue,Kubernetes 生命周期管理是 README 顶部横幅宣布的新功能,连独立文档页都还没有(我试了 /docs/capabilities/kubernetes,404)。当雷达看完全够,当生产依赖早了点。

五点五、说说 K8s 那部分(目前还很新)

严格讲,Ongrid 的"血统"是 AIOps 而不是 Kubernetes 工具——它最早解决的是"一台主机上的进程、端口、日志到底怎么回事"。Kubernetes 生命周期管理是后来加的:通过 Edge 注册集群、看工作负载和事件、管升级,并把 K8s 资源映射进拓扑图,让爆炸半径分析能跨到集群层。

对 K8s 团队来说,这意味着你可以把"某个 Pod 的 OOMKilled"和"它所在节点上另外 7 个 Pod 同时异常"串起来看——这是纯 host-level 的工具做不到的。

但我得说实话:这块是新的。README 顶部专门挂了个横幅宣布,release 频率很凶(v0.18.0 → v0.18.1 → v0.18.2 隔了三天),文档站却没有对应的独立页面。所以如果你冲着 K8s 能力来,我的建议是:先看 release notes 确认你要的那个特性在不在,别看文档站,文档站还没跟上。

另一个设计必须点名:写入闸门(Write Gate)。所有高风险动作先过审批和策略边界,Agent 不能直接改生产系统,UI 上会明确画出那道边界在哪。这就是为什么我上面反复强调"先只读跑两周"——先把它的只读输出建立信任,再谈放开闸门。顺序反了,后面出了事没人兜得住。

六、谁该关心,谁可以划走

值得试:自建或混合云、多集群、值班人少、想把 runbook 真正沉淀下来而不是躺在 Confluence 里吃灰的团队。飞书 / 钉钉双向通道 + 中文报告,对国内团队是加分项。

可以先划走:只有一套托管 K8s 且已有成熟可观测栈的团队——你要为它的"另一套"付出存储和运维成本,换来的增量可能有限。

同类里可以横向比一比:OneUptime 自带 K8s Agent(aiAgent.fixes 分 off / ask-for-approval / automatic / bypass 四档)、Datadog Bits AI、阿里云 ARMS 的 K8s 智能诊断、Grafana Assistant。我之前写过的 k8sgpt 定位不同——它帮你写出正确的 kubectl,Ongrid 帮你查完并给出结论。还有一条自建路线:K8s + Argo CD + GitOps,先用一个只有 get/list 权限的 ClusterRole 起步(参考 CNCF 2026 年那篇 cluster-aware AI agent 的实践)。

我的建议是:先只读接一套测试集群,用 shadow 模式跑两周,专门看 pinpointed_target 的准确率。它指错了 80%,后面的审批闸门就都是摆设;它指对了 80%,那写入闸门才值得讨论放开。

七、我的判断

我最认可的不是"AI 查根因"这件事,而是它老老实实承认了成本和边界——10 次调用硬预算、并发上限 5、每天 token 封顶、超预算就明说"置信度偏低"而不是装作成功。工程上,这比吹"全自主 SRE"靠谱得多。

但现阶段它离生产还早。5 个月、98 个 issue、K8s 能力刚发布。我的定位是:值得在测试环境亲手跑一遍的工具,不是可以写进架构图 SLA 的依赖。

最后说一句更大的话:AIOps 的天花板从来不取决于模型多强,而取决于你的排查过程能不能被结构化描述出来。描述不出来,AI 就只是一台高级 grep。描述得出来,它就是个不知疲倦、还会自己写报告的夜班同事——而绝大多数团队卡在第一步。