panxiao81/homelab-infra
1
0
Fork 0
Code Issues 10 Pull Requests Actions Packages Projects Releases Wiki Activity

修复 Grafana 在 ZFS RWO PVC 上的升级卡死 #48

Merged
panxiao81 merged 1 commits from fix/grafana-zfs-recreate-strategy into main 2026-09-10 16:34:56 +00:00
Conversation 0 Commits 1 Files Changed 2
+12
panxiao81 commented 2026-09-10 15:56:08 +00:00
Owner
Copy Link
Copy Source

问题

Flux 首次接管 Grafana 后，chart 的 Secret checksum 发生变化并触发 Deployment rollout。实际 admin Secret 未改变，但默认 RollingUpdate 先创建新 Pod；OpenEBS ZFS CSI 拒绝在旧 Pod 仍挂载同一 RWO PVC 时再次 mount，导致新 Pod Pending、Helm release 卡在 pending-upgrade。旧 Pod 仍 Running，Grafana 当前服务和数据库健康。

修复

在 Grafana values 中明确：

deploymentStrategy:
  type: Recreate

这会在 Grafana 升级时先停止旧 Pod，再让新 Pod 挂载同一 PVC。单副本 Grafana 会有一次短暂停机，但避免无限 Pending；PVC 和数据不变。

验证

  • 新旧 ReplicaSet Pod template 除 checksum/secret 外完全一致
  • Helm revision 1 中的 admin password 与 live Secret 完全一致，未发生凭据轮换
  • 固定 chart 10.5.15 渲染出的 Deployment 为 strategy.type: Recreate
  • observability Kustomization 构建成功
  • YAML 检查与 git diff --check 通过
  • 当前 Grafana /api/health 返回 database ok；Metrics、Logs、Traces health 均返回 OK

合并后需要等待 Flux retry 完成，并验证新 Grafana Pod Ready、PVC 仍 Bound、Grafana/OIDC/datasource 正常。

## 问题 Flux 首次接管 Grafana 后，chart 的 Secret checksum 发生变化并触发 Deployment rollout。实际 admin Secret 未改变，但默认 `RollingUpdate` 先创建新 Pod；OpenEBS ZFS CSI 拒绝在旧 Pod 仍挂载同一 RWO PVC 时再次 mount，导致新 Pod Pending、Helm release 卡在 `pending-upgrade`。旧 Pod 仍 Running，Grafana 当前服务和数据库健康。 ## 修复 在 Grafana values 中明确： ```yaml deploymentStrategy: type: Recreate ``` 这会在 Grafana 升级时先停止旧 Pod，再让新 Pod 挂载同一 PVC。单副本 Grafana 会有一次短暂停机，但避免无限 Pending；PVC 和数据不变。 ## 验证 - 新旧 ReplicaSet Pod template 除 `checksum/secret` 外完全一致 - Helm revision 1 中的 admin password 与 live Secret 完全一致，未发生凭据轮换 - 固定 chart `10.5.15` 渲染出的 Deployment 为 `strategy.type: Recreate` - observability Kustomization 构建成功 - YAML 检查与 `git diff --check` 通过 - 当前 Grafana `/api/health` 返回 database `ok`；Metrics、Logs、Traces health 均返回 `OK` 合并后需要等待 Flux retry 完成，并验证新 Grafana Pod Ready、PVC 仍 Bound、Grafana/OIDC/datasource 正常。
panxiao81 added 1 commit 2026-09-10 15:56:09 +00:00
fix(grafana): 使用 Recreate 挂载 ZFS PVC
yaml / yaml (pull_request) Successful in 11s
Details
d09f62c063
panxiao81 merged commit 422a640c0f into main 2026-09-10 16:34:56 +00:00
panxiao81 deleted branch fix/grafana-zfs-recreate-strategy 2026-09-10 16:34:56 +00:00
Sign in to join this conversation.
Reviewers
No Reviewers
Labels
No items
No labels
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
panxiao81 (Xiao Pan)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: panxiao81/homelab-infra#48