Files
gitea-dynamic-runner/docs/opensandbox-runner.md
T
panxiao81 c72777a479
test / python (pull_request) Successful in 11s
test / shell (pull_request) Successful in 17s
恢复原生 Kubernetes Pod 调度
2026-09-20 17:08:51 +00:00

2.8 KiB
Raw Blame History

OpenSandbox VM runner

Gitea 的 workflow_job webhook 只负责发现带 self-hosted,pod 或 self-hosted,vm label 的 queued job。controller 不再把请求写入 NATS,而是携带由 OpenSandbox 只承载 self-hosted,vm workload。self-hosted,pod 由 homelab 原生 Kubernetes worker 创建,不经过 OpenSandbox。homelab ExternalSecret 挂载的 API key 供 VM consumer 调用 OpenSandbox Lifecycle API:

http://10.60.0.13:8080/v1/sandboxes

请求通过 extensions.poolRef 选择 ci-pod 或 ci-vm。地址是 VyOS HAProxy 的 内网 TCP frontend,backend 为 sandbox 两个节点上的固定 NodePort;不通过公网或 Cloudflare Tunnel。OpenSandbox key 只从 OpenBao kv/k8s/opensandbox-api.api_key 进入 homelab Secret,进程通过 OPENSANDBOX_API_KEY_FILE 读取。

身份顺序

Lifecycle 请求把稳定的 repository/task SPIFFE ID 放入 task environment。sandbox 集群内的 opensandbox-identity controller 读取 BatchSandbox allocation 得到实际 Pod UID,然后创建:

  • parent:spiffe://ddupan.top/spire/agent/k8s_psat/sandbox-kata/pod/<pod-uid>;
  • workload:spiffe://ddupan.top/ci/<owner>/<repository>/<task>;
  • selector:unix:uid:2000。

job ID 只进入诊断 label,不进入业务身份。Pool 内 runner 进程固定使用 UID 2000, Pod 设置 shareProcessNamespace: true;guest-local SPIRE Agent 使用 Pod-bound PSAT, 通过内存 emptyDir 暴露 Workload API。gitea-opensandbox-runner 等待精确 SVID,随后 通过一次性 nonce URL 领取 Gitea registration token。token 不进入 Lifecycle 请求、 BatchSandbox、镜像或 sandbox Secret。

identity controller 只能读取 opensandbox namespace 的 BatchSandbox/Pod,并维护带 自身 label 的 ClusterStaticEntry。它不持有 OpenSandbox API key、Gitea token 或 Bao 凭据。BatchSandbox 消失后,对应 entry 在下一次 reconcile 删除;Pod 删除后,按 Pod UID attestation 的临时 Agent 失去父级。

Pool 契约

ci-vm 使用 kata-clh-runtime-rs;ci-pod 使用默认 runc。两者都要求:

  • runner 镜像包含 Gitea Runner、Node.js action userspace、SPIRE CLI 和 identity gate;
  • runner UID 2000,SPIRE Agent 与 privileged dockerd 使用不同 UID;
  • Docker socket 通过 group 2000 共享,Docker 数据仅存在于 sandbox emptyDir;
  • self-hosted 必须是所有 runner labels 的前缀;
  • ephemeral/once runner 完成一项任务后退出。

清理与恢复

controller 监控 Lifecycle 状态,在终止、失败、超时或取消时调用 DELETE。API delete、 identity entry delete 均接受对象已不存在。controller 重启时,OpenSandbox timeout 仍是最终回收边界;后续可基于 metadata list 恢复主动监控,但不得为此重新引入消息 队列。