云原生日报 2026-10-07

早上好,各位技术同学 ☕ 今天为大家精选了云原生领域的最新动态和几篇干货教程,一起看看 👇

🔥 云原生热点

1. K8s 1.37 workload-aware scheduling

文章延续 Kubernetes 1.36 引入的 Workload/PodGroup 分组调度原语,指出 1.37 的关键变化是提供可复用的 building block API(scheduling.k8s.io/v1alpha3)、共享的 workloadbuilder Go 库,以及基于这两者重写的 Job 集成。借助这些积木,控制器可以把调度意图以字段形式嵌入自己的 API,由库统一完成默认值填充、校验与模板编译,最终生成调度器真正读取的 Workload 与 PodGroup 对象。 真正的亮点在于把「谁来编译调度模板」从每个控制器各自实现收归为一个共享库,并用叶级与复合两级类型(WorkloadPodGroup…/WorkloadCompositePodGroup…)分别覆盖单层与「组之组」的多层编排场景。allow-list 机制让新调度策略默认被拒绝,避免上游新特性静默渗透进尚未适配的控制器,这个安全默认值的思路很值得国内平台团队借鉴。对于自研 CRD 控制器(JobSet、TrainJob 这类)的团队来说,1.37 之后接入 gang scheduling、topology co-location 和 DRA 设备共享申领不再需要重复造 defaulting 与 validation 的轮子。 🔗 https://helayoty.substack.com/p/workload-aware-scheduling-in-kubernetes-284

2. InfoQ TauGrid AI workload

文章报道微软开源 TauGrid —— 一个面向 GPU Kubernetes 集群的 AI 工作负载管理、调度与监控平台,目标是免去平台团队自行拼装队列、编排、健康检查与可观测性组件的大量「粘合剂」工作。它基于 Kueue 做排队与配额、KubeRay 做编排,通过一次 Helm 安装提供统一技术栈,用户以 YAML 描述负载并用 tau run 提交,失败时可从检查点恢复。 对国内做 AI 平台基建的团队而言,TauGrid 的价值不在功能多寡,而在于把「粘合剂」这一层显性化并产品化——提交脚本、队列封装、结果检索这些长期靠自研脚本兜底的部分被收敛进统一栈。相比 Kubeflow,它更轻、更偏单集群 GPU 场景,路线图里的多租户 RBAC/配额、PyTorch DDP/FSDP、DeepSpeed 与 LoRA/QLoRA 支持若如期落地,会直接对上大模型训练的实际需求。目前它仍处于早期开发阶段,生产选型时可先小范围验证队列与拓扑感知调度的成熟度,再决定是否替代自研方案。 🔗 https://www.infoq.cn/article/3FdzSfrzlb3vMDwsC1Ny

3. 500MB buffer OOM postmortem

文章复盘了一个每晚把 Postgres 大表导出为 gzip JSONL 并上传 S3 的归档 Job 反复被 OOM Kill 的原因:SQLC 的 :many 查询先把 46 万行全部物化进切片,再压缩进 bytes.Buffer,峰值堆内存约 600 MB,越过 1 GiB 的 limit 后被杀。作者把流水线改为 Postgres 服务端游标 → json → 流式 gzip → io.Pipe → s3manager 分片上传的生产者/消费者模型,峰值内存降到约 30 MB,上线后不再出现 OOM。 这篇文章的价值在于把「内存随输入规模线性增长」这个反模式拆得很清楚:它不是调大 limit 能解决的问题,而是设计缺陷,换一个数据量翻倍的租户照样崩。四个原语的组合(服务端游标、零缓冲 io.Pipe 提供背压、流式 gzip、分片上传)几乎是 Go 数据处理流水线的通用解法,可以照搬到任何导出、迁移、备份场景。文中的工程细节也值得留意——defer 顺序保证 gzip trailer 先刷出、两端 CloseWithError 让失败时自动 AbortMultipartUpload 不留孤儿分片,这些正是自己手写时最容易踩的坑。建议国内团队把「工作集是否有界」列进数据管道 code review 的固定检查项。 🔗 https://dev.to/harishteens/how-a-500-mb-buffer-killed-our-archival-job-and-why-streaming-fixed-it-4iek

📖 教程推荐

1. multi-region GitOps

文章给出一套把 Kubernetes 部署从一两个区域扩展到 25 个区域的 GitOps 参考架构:以中心 Git 仓库为唯一事实来源,每个区域运行独立的 Argo CD reconciler 且只 watch 自己那片 overlay,从而解耦编排、配置与状态三类耦合。配置层面采用 base chart + global values + 精简区域 overlay 的分层覆盖模型,配合 ApplicationSet 生成 25 个 App,并以 wave 机制做分批灰度与回滚。 这套 hub-and-spoke 拓扑最直接的好处是把「一次发布炸一个大陆」变成「一次发布影响一个区域」——共享队列与全局锁消失了,eu-west-1 卡住也不会阻塞 ap-south-1 的 git revert 回滚。分层 values 与 wave 灰度的组合比较务实:同一份 repo 既能做单区域金丝雀,也能做全区域推进,避免了 25 份几乎相同的 values.yaml 带来的配置漂移。值得国内多集群、多地域团队参考的是它把「回滚 = git revert」当作一等公民,并明确把 argocd app rollback 定位为 break-glass 而非日常路径,这种纪律性比架构本身更关键。 🔗 https://medium.com/@vtulasinadh/scaling-kubernetes-deployments-to-multiple-regions-a-gitops-reference-architecture-ad18a55bdaac

2. Docker secrets

文章用一个最小可复现的 Dockerfile 演示了常见误区:在某一层写入密钥文件、后续层用 rm 删除并把镜像推上仓库,从容器内部看文件确实消失了,但原始文件仍完整保留在那一层中。作者用 docker save 加 tar 解包,借助 whiteout 标记文件(.wh.secret.txt)的机制把明文密钥直接导出,并指出用 ENV 设置的变量更简单,docker inspect 一条命令即可读到。 这是每个写过 Dockerfile 的团队都该亲手验证一次的实验:镜像层的不可变与叠加特性决定了「删除」只是新增了一个标记文件,任何能 docker pull 的人都能用 tar 把内容捞出来。文中给出的修复优先级也是正确的——构建期用 BuildKit 的 --mount=type=secret,运行期用 Docker/K8s Secret 挂载或从 Vault 动态注入,squash 只能算缓解手段而非根治。落地时建议配合 Trivy、TruffleHog 对已有镜像仓库做一轮层扫描,先把历史遗留凭据清干净,再改流程。 🔗 https://medium.com/@luka.klaric.1988/your-docker-secrets-are-not-gone-theyre-just-hidden-3bcc69fcf35a


以上内容均已附原文链接,欢迎留言交流你的看法 💬