diff --git a/clusters/sandbox/README.md b/clusters/sandbox/README.md index 2dd4b90..395474c 100644 --- a/clusters/sandbox/README.md +++ b/clusters/sandbox/README.md @@ -12,9 +12,18 @@ Ansible 将 homelab CA 注入 `GitRepository/flux-system` 引用的同名 Secret 当前 root 为空,作为 bootstrap canary。后续按依赖顺序分别引入: -1. 监控 CRD、VictoriaMetrics 抓取配置和节点 exporter; +1. 监控 CRD、kube-state-metrics 以及 kubelet/cAdvisor 抓取配置; 2. SPIRE Agent、SPIFFE CSI Driver 与 workload registration; 3. Kata Containers、`block-plain` RuntimeClass; 4. OpenSandbox operator/server 及 `ci-pod`、`ci-vm` Pools。 每一阶段单独合并并等待对应 Flux Kustomization Ready,不在 bootstrap 时一次性部署。 + +## 监控边界 + +这里只管理 sandbox LXC 内的 Kubernetes 监控,不负责 PVE 宿主监控。LXC 与宿主共享 +内核,即使 lxcfs 虚拟化了内存和 uptime,容器内 `/proc/stat` 仍是宿主 CPU 视图; +在 LXC 内运行 node_exporter 会生成混合语义并重复采集宿主指标,因此禁止部署。 + +Sandbox 节点与 workload 指标来自 kubelet/cAdvisor 和 kube-state-metrics;K3s 或 LXC +特有但上述接口未覆盖的指标,应使用目标明确的 collector,不以 node_exporter 补齐。 diff --git a/infrastructure/sandbox-cluster/README.md b/infrastructure/sandbox-cluster/README.md index 34ed03c..82dd17b 100644 --- a/infrastructure/sandbox-cluster/README.md +++ b/infrastructure/sandbox-cluster/README.md @@ -11,18 +11,23 @@ Ansible 管理以下持久状态: - pve1/pve2 上的 privileged LXC、磁盘、固定网络与 KVM/vhost/TUN/kmsg 设备; - LXC OS 基线、内部 CA、外部 PostgreSQL 与 K3s; - 固定版本的 Flux controllers 和 root sync bootstrap; -- 集群外 exporter、只读状态验证和数据库切换 runbook。 +- 只读状态验证和数据库切换 runbook。 Flux 管理以下 Kubernetes 资源: - Kata Containers 和 CI 专用的 `block-plain` RuntimeClass; - SPIRE Agent、SPIFFE CSI Driver 与 workload identity 声明; -- vmagent、kube-state-metrics、scrape 配置和告警; +- vmagent、kube-state-metrics、kubelet/cAdvisor scrape 配置和告警; - OpenSandbox operator/server、`ci-pod` 与 `ci-vm` Pools。 同一个对象只能有一个 owner。Ansible 不直接部署上述集群内 workload;Flux 不管理 LXC、K3s datastore 或 K3s 本身。 +监控范围仅覆盖 sandbox LXC 内的 Kubernetes 与 workload。不得在 LXC 内部署 +node_exporter:LXC 的 `/proc` 是 lxcfs 虚拟视图与宿主内核视图的混合,尤其 +`/proc/stat` 会重复暴露 PVE 宿主 CPU 数据。PVE 自身的 node_exporter 或其他宿主 +监控不属于本目录;sandbox 使用 kubelet/cAdvisor 和 kube-state-metrics。 + ## 声明拓扑 | 对象 | PVE 节点 | VMID | 地址 | 资源 |