补齐共享 etcd/PG 的备份、证书续签及 dev 健康告警 #166

2026-09-27T17:06:12Z

panxiao81 commented

2026-09-27 17:06:12 +00:00

共享 etcd/PG 的运行与选主指标已接入，但每日备份、自动续签和独立 dev 实例的故障仍可能没有告警。本 PR 补齐这三类维护监控，并检测采集自身失败或停止更新。

三台现有主机运行每分钟只读采集：etcd 成功快照、pgBackRest 成功 full 元数据、明确清单中的完整证书链、续签 service/timer，以及 dev 本地 peer 身份的只读 SQL。
node_exporter 当前使用 1.9.1，包与官方 sha256sums.txt 由同一版本变量生成，升级只改版本仅启用 textfile，绑定各主机内网 9109；动态非特权用户服务，采集程序与配置由 root 管理，不读取密码/token/私钥、不请求 Bao。laptop 实测 exporter 当前内存约 2.6 MiB。
新增 8 条告警：抓取失败、采集过期/缺失、单项检查失败、备份超过 36 小时、证书不足 10 天 warning/不足 3 天 critical、续签检查超过 36 小时或失败、dev SQL 异常。已有告警通知栈保持复用。

验证：6 项 Python 测试（含真实临时证书链解析）、12 个新增 promtool 告警场景和现有规则测试通过；Ansible lint 0 failure/0 warning，Kustomize 渲染通过。三台主机已部署采集端，重复执行均 changed=0；实际检查均成功，dev SQL ready=1；vmagent Pod 可访问全部三个端点。数据库和 etcd 未重启。

部署边界：本 PR 使用 PrometheusRule 声明告警，由现有 converter 生成 VMRule；VMStaticScrape/PrometheusRule 尚未应用，合并后由 Flux 接管，再验证三个 up 目标和八条规则。备份年龄不证明数据可恢复或 WAL 连续；dev 探针不验证外部 DNS/TLS 路径，也不写业务数据；证书检查针对磁盘文件，不证明进程已重载。SQL 级 exporter、异地备份与应用迁移仍后置。

运维文档直接推送 main：采集与排障，共享 PostgreSQL wiki。

共享 etcd/PG 的运行与选主指标已接入，但每日备份、自动续签和独立 dev 实例的故障仍可能没有告警。本 PR 补齐这三类维护监控，并检测采集自身失败或停止更新。 - 三台现有主机运行每分钟只读采集：etcd 成功快照、pgBackRest 成功 full 元数据、明确清单中的完整证书链、续签 service/timer，以及 dev 本地 peer 身份的只读 SQL。 - node_exporter 当前使用 1.9.1，包与官方 sha256sums.txt 由同一版本变量生成，升级只改版本仅启用 textfile，绑定各主机内网 9109；动态非特权用户服务，采集程序与配置由 root 管理，不读取密码/token/私钥、不请求 Bao。laptop 实测 exporter 当前内存约 2.6 MiB。 - 新增 8 条告警：抓取失败、采集过期/缺失、单项检查失败、备份超过 36 小时、证书不足 10 天 warning/不足 3 天 critical、续签检查超过 36 小时或失败、dev SQL 异常。已有告警通知栈保持复用。验证：6 项 Python 测试（含真实临时证书链解析）、12 个新增 promtool 告警场景和现有规则测试通过；Ansible lint 0 failure/0 warning，Kustomize 渲染通过。三台主机已部署采集端，重复执行均 changed=0；实际检查均成功，dev SQL ready=1；vmagent Pod 可访问全部三个端点。数据库和 etcd 未重启。部署边界：本 PR 使用 PrometheusRule 声明告警，由现有 converter 生成 VMRule；VMStaticScrape/PrometheusRule 尚未应用，合并后由 Flux 接管，再验证三个 up 目标和八条规则。备份年龄不证明数据可恢复或 WAL 连续；dev 探针不验证外部 DNS/TLS 路径，也不写业务数据；证书检查针对磁盘文件，不证明进程已重载。SQL 级 exporter、异地备份与应用迁移仍后置。运维文档直接推送 main：[采集与排障](https://git.ddupan.top/panxiao81/homelab-infra/src/branch/main/infrastructure/shared-data-monitoring/README.md)，[共享 PostgreSQL wiki](https://git.ddupan.top/panxiao81/homelab-wiki/src/branch/main/services/shared-postgresql.md)。

panxiao81 added 1 commit 2026-09-27 17:06:13 +00:00

feat: 补齐共享数据备份、证书续签与开发实例监控

yaml / yaml (pull_request) Successful in 27s

Details

ansible / collection-test (pull_request) Successful in 1m59s

Details

ansible / lint (pull_request) Successful in 3m14s

Details

0988f5c37e

panxiao81 added 1 commit 2026-09-27 17:29:43 +00:00

fix: 使用 PrometheusRule 并按 exporter 版本获取官方校验和

yaml / yaml (pull_request) Successful in 51s

Details

ansible / collection-test (pull_request) Successful in 2m28s

Details

ansible / lint (pull_request) Successful in 4m5s

Details

0d633cf0cc

panxiao81 merged commit 589c34ee60 into main

2026-09-27 17:35:28 +00:00

panxiao81 deleted branch feat/shared-pg-health

2026-09-27 17:35:28 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: panxiao81/homelab-infra#166