有状态服务利器:mariadb-operator 实战与最佳实践

技术教程 · 中间件 · 数据库 · 2026-10-07

有状态服务利器:mariadb-operator 实战与最佳实践

在 K8s 上跑无状态服务,大家都很熟练了:Deployment 一滚,Pod 挂了自动重建,谁都不慌。但一提到有状态服务——尤其是 MySQL / MariaDB 这种关系型数据库,画风立刻变了。

主从切换要人工登上去敲 CHANGE MASTER TO;备份是一堆没人敢动的 crontab 脚本;小版本升级得挑凌晨三点,还得写一张 A4 纸的回滚步骤;Galera 集群万一同时挂掉两个节点,直接罢工,得翻文档手动 bootstrap。

说个我自己遇到过的事。前年一个测试环境的 MariaDB 主库所在的节点被运维例行重启,主从没配自动切换,业务侧连接池连了十几分钟全是超时。事后复盘,故障本身不可怕——可怕的是当时值班的同事完全不知道「主库没了之后该做什么」,全靠翻半年前的 wiki。那次之后我就一直想找个办法,把这类「确定但没人记得」的操作固化下来。

这些活其实都有确定的操作路径。既然路径是确定的,就应该写进代码,让 Operator 去干。今天这篇讲的是 mariadb-operator:把 MariaDB 的部署、主从、备份、PITR、升级全部变成 K8s CRD。

一、声明式管理:从「操作数据库」到「描述数据库」

核心就是一个 MariaDB 资源:

apiVersion: k8s.mariadb.com/v1alpha1
kind: MariaDB
metadata:
  name: mariadb
spec:
  rootPasswordSecretKeyRef:
    name: mariadb
    key: password
  username: mariadb
  passwordSecretKeyRef:
    name: mariadb-password
    key: password
    generate: true
  database: mariadb
  storage:
    size: 10Gi
  resources:
    requests:
      cpu: 300m
      memory: 512Mi
    limits:
      memory: 2Gi
  metrics:
    enabled: true
  tls:
    enabled: true

kubectl apply 之后,operator 会拉起 StatefulSet、Service、Secret、PVC。真正有意思的是 Service 语义:

主节点发生变化时,这两个 Service 由 operator 自动改写。业务侧只需要连 mariadb-primary,完全不用关心背后是哪台机器。再配上自动故障转移:

spec:
  replication:
    primary:
      autoFailover: true

主 Pod 挂了,operator 自己选新主、改 Service。手工 CHANGE MASTER TO 的时代结束了。

顺带说一句,如果你想更彻底一点,可以让 MaxScale 做统一入口。它作为数据库代理,把读写路由、故障转移、事务重放、连接池全包了,业务侧只连一个地址:

apiVersion: k8s.mariadb.com/v1alpha1
kind: MaxScale
metadata:
  name: maxscale
spec:
  mariaDbRef:
    name: mariadb
  replicas: 2        # 两副本,MaxScale 自身升级也能零中断
  services:
    - name: read-write
      router: readwritesplit
      listener:
        port: 3306

两副本这点很关键:单副本的代理本身就是新的单点。

二、Galera:把「集群崩了怎么救」写进控制器

Galera 是全同步多主,3 节点起步。真正麻烦的不是装起来,而是三个节点同时挂掉——Galera 自己救不回来,官方的做法是人工翻文档、挑一个 seqno 最大的节点手动 bootstrap。

mariadb-operator 把这段经验封装了。只要声明 galera.enabled: true,operator 就会常驻检查集群健康度;一旦发现全挂,自动执行:拉取每个 Pod 的 wsrep 状态 → 找出最安全的节点 → bootstrap → 其余节点重新加入。

LAST SEEN   TYPE      REASON                    MESSAGE
16m         Warning   GaleraClusterNotHealthy   Galera cluster is not healthy
16m         Normal    GaleraPodStateFetched     Galera state fetched in Pod 'mariadb-galera-2'
17m         Normal    GaleraPodRecovered        Recovered Galera sequence in Pod 'mariadb-galera-1'
17m         Normal    GaleraClusterBootstrap    Bootstrapping Galera cluster in Pod 'mariadb-galera-2'
20m         Normal    GaleraClusterHealthy      Galera cluster is healthy

集群从「全挂」回到 healthy,全程零人工干预。这是我觉得这个项目最值钱的地方——它不只是个 CRD 翻译器,而是真的把 DBA 的运维经验落成了代码。

三、备份 + PITR:把 RPO 从小时级压到秒级

物理备份基于 mariadb-backup 或 CSI VolumeSnapshot,支持 S3 / Azure Blob / PVC 三类存储:

apiVersion: k8s.mariadb.com/v1alpha1
kind: PhysicalBackup
metadata:
  name: physicalbackup-daily
spec:
  mariaDbRef:
    name: mariadb-repl
  schedule:
    cron: "0 0 * * *"
    immediate: true
  compression: bzip2
  maxRetention: 720h
  storage:
    s3:
      bucket: physicalbackups
      prefix: mariadb
      endpoint: minio.minio.svc.cluster.local:9000
      accessKeyIdSecretKeyRef:
        name: minio
        key: access-key-id
      secretAccessKeySecretKeyRef:
        name: minio
        key: secret-access-key

注意 schedule、compression、maxRetention 这些字段——备份策略本身就是一份声明式资源,不再是某台跳板机上、某个前同事写的脚本。

再往上叠一层 PointInTimeRecovery:把 binlog 归档到对象存储,恢复时指定一个时间点,operator 自动执行「最近的完整备份 + 重放 binlog」。最典型的场景就是误删表——全量备份是昨晚的,binlog 覆盖到今天下午,可以精确恢复到误操作前 1 秒。RPO 直接从「丢一天」变成「丢几秒」。

四、升级:ReplicasFirstPrimaryLast

数据库升级最怕什么?怕升到一半发现新版本不兼容。

默认的 ReplicasFirstPrimaryLast 策略就是冲着这个来的:

  1. 逐个滚动从节点,每一个都要 readiness 通过才继续

  2. 从节点全部变绿之后,最后才动主节点

好处很直接:写请求被切到新主节点之前,如果新版本有问题,在第一台从节点上就已经暴露,此时更新会自动暂停,主节点毫发无伤。代价是升级时间长一点——但数据库升级这件事,慢就是快。

对比一下我们自己的账:以前手工升级一套 1 主 2 从,一个人从头盯到尾差不多 40 分钟,而且过程中写操作有 3~5 分钟不可用窗口;换成 ReplicasFirstPrimaryLast 之后,一条 kubectl apply 改镜像版本,人只需要在从节点滚动完的那一刻看一眼状态,写窗口压到主节点重启的那十几秒。省下来的不只是时间,还有「不敢升」的心理成本——这才是很多团队把数据库版本拖后两年的真正原因。

五、TLS、用户、连接串,全是声明式的

除了数据本身,周边那些「顺手也一起管了」的东西同样省事。

开 TLS 就是两行,如果集群里已经有 cert-manager,证书会自动签发并轮换,不用再搞一年一续期的证书闹钟:

spec:
  tls:
    enabled: true
    required: true              # 强制所有连接走 TLS
    serverCertIssuerRef:
      name: root-ca
      kind: ClusterIssuer

建库、建用户、授权不再是登进去敲 SQL,而是 Database / User / Grant 三个 CR:

apiVersion: k8s.mariadb.com/v1alpha1
kind: User
metadata:
  name: app-user
spec:
  mariaDbRef:
    name: mariadb
  passwordSecretKeyRef:
    name: app-user
    key: password
  maxUserConnections: 50

创建完 kubectl get grants 就能直接看到授权结果。我特别喜欢的是 Connection 这个 CR——它把主机、端口、库名、用户名、密码拼成一个标准的连接串(DSN),直接落到一个 Secret 里:

$ kubectl get secret connection -o jsonpath='{.data.dsn}' | base64 -d
app-user:xxxx@tcp(mariadb-primary:3306)/mariadb?parseTime=true&timeout=5s

应用部署里 envFrom: secretRef 引用它就行。密码轮换时,应用完全无感——这比在 ConfigMap 里手写连接串、然后靠人记得改要可靠太多。

安装部署

用 OCI 方式安装,连 Helm repo 都不用配:

helm install mariadb-operator-crds oci://ghcr.io/mariadb-operator/charts/mariadb-operator-crds
helm install mariadb-operator oci://ghcr.io/mariadb-operator/charts/mariadb-operator \
  --namespace mariadb-system --create-namespace

kubectl create ns mariadb
kubectl apply -f examples/manifests/config -n mariadb
kubectl apply -f examples/manifests/mariadb.yaml -n mariadb

验证一下:

$ kubectl get mariadbs
NAME      READY   STATUS    PRIMARY POD     AGE
mariadb   True    Running   mariadb-0       3m57s

$ kubectl get services
NAME      TYPE        CLUSTER-IP      PORT(S)
mariadb   ClusterIP   10.96.235.145   3306/TCP,9104/TCP

前后不到两分钟,一个带 Prometheus exporter、自动生成密码 Secret、自动创建 PVC 的 MariaDB 就起来了。

端到端:备份 → 从备份起一个新实例

完整跑一遍,体会一下「不用 SSH 进容器」是什么感觉。

kubectl apply -f examples/manifests/database.yaml
kubectl apply -f examples/manifests/user.yaml
kubectl apply -f examples/manifests/grant.yaml
kubectl apply -f examples/manifests/backup.yaml
$ kubectl get databases,users,grants
NAME        READY   STATUS    CHARSET
data-test   True    Created   utf8

NAME   READY   STATUS    MAXCONNS
user   True    Created   20

NAME   READY   STATUS    DATABASE   TABLE
user   True    Created   *          *

$ kubectl get backups
NAME     COMPLETE   STATUS    MARIADB   AGE
backup   True       Success   mariadb   15m

然后拿这份备份直接起一个新实例:

kubectl apply -f examples/manifests/mariadb_from_backup.yaml
$ kubectl get restores
NAME                                   COMPLETE   STATUS    MARIADB
bootstrap-restore-mariadb-from-backup  True       Success   mariadb-from-backup

建库、建用户、授权、备份、恢复——全部是 kubectl apply,没有任何一步需要登进数据库容器敲 SQL。这才是我心里「云原生数据库」该有的样子。

几个真实的坑

  1. 反亲和性会把你卡死在节点不足的集群上。 HA 配置推荐开 affinity.antiAffinityEnabled: true,但官方文档明确警告:开了之后可调度节点数必须 ≥ 副本数,否则 Pod 全部 Pending,集群根本 bootstrap 不起来。本地 K3d 单节点测试千万别开;上生产前先数节点。

  2. PITR 目前只支持异步复制拓扑。 这是当下最大的限制——Galera 和 standalone 都还不支持 binlog 归档,而且要求 MariaDB ≥ 10.8(内部用 GTID + --start-position 过滤 binlog)。如果你的库跑的是 Galera 又想要 PITR,得先想清楚:是改成异步复制 + MaxScale,还是先等上游支持。

  3. 版本不能跳着升。 文档明确写了不要跳过中间版本,必须逐版本升级,升级前先读 release notes 和 UPGRADE guide。另外注意 operator 自身的升级和 Operand(数据库)的升级是两件事,要分开评估。

  4. 只能用官方 MariaDB 镜像。 README 写得很直白:operator 只兼容官方镜像。自己打的那种「定制版 MariaDB」别往上放,兼容性没人担保。

适用场景与替代方案

适合:自建 K8s 上要跑 MariaDB / MySQL 兼容库、需要主从或 Galera、又不想自己维护 Operator 逻辑的团队。如果集群里已经用了 cert-manager 和 prometheus-operator,那更合适——TLS 证书和 ServiceMonitor 都是原生集成,接起来几乎零成本。

替代方案:

收尾

我对这个项目的判断是:它解决的从来不是「能不能在 K8s 上跑 MariaDB」,而是「敢不敢在 K8s 上把数据库完全交给自动化」。

它的价值不在 CRD 的数量,而在那些原本只存在于资深 DBA 脑子里、或者躺在某个 wiki 深处的操作路径——Galera 崩溃恢复、角色感知的滚动升级、备份保留策略——被明确地编码进了控制器。这类项目才是「有状态服务上 K8s」真正的最后一公里。

1K star、1100 万镜像拉取量、KubeCon 上被拿来做数据库 Operator 横向评测,社区是认的。如果你手上还有裸 StatefulSet 跑着 MySQL,值得花一个下午把 mariadb-operator 装到测试集群跑一遍 quickstart——成本很低,收益是把一批「凌晨三点的手工操作」永久删除。