refactor: 统一 Pod 与 VM executor 运行模型
yaml / yaml (pull_request) Successful in 31s

This commit is contained in:
2026-09-21 12:01:55 +00:00
parent cfb9c2d150
commit 5c9a09edde
2 changed files with 13 additions and 41 deletions
+12 -7
View File
@@ -9,6 +9,11 @@ Pod-bound PSAT 向中央 SPIRE 注册;identity controller 从 BatchSandbox all
取得真实 Pod UID,再创建精确的 `ClusterStaticEntry`。runner 只有拿到请求中的完整
repository/task SVID 后才领取一次性 Gitea registration token。
VM 与 Pod backend 使用同一个 `gitea-dynamic-runner-runner` executor 镜像。Pool 不运行
常驻 `docker:dind` sidecar;需要 Docker 的 workflow 在 privileged executor 内按任务启动
daemon。Kata VM 中的 workflow 必须先把稀疏 ext4 镜像 loop-mount 到
`/var/lib/docker`,并完成 cgroup v2 nesting 初始化。
这些 `ClusterStaticEntry` 位于 sandbox 集群,由 central SPIRE Server 内的
`spire-controller-manager-sandbox` 通过受限 external kubeconfig reconcile。必须在
`platform/spire/values.yaml` 显式启用 external controller-manager 的
@@ -63,13 +68,13 @@ kubectl -n opensandbox logs deploy/opensandbox-identity -f
- `PoolCapacityExhausted`:检查 `ci-vm` 的 `poolMax` 及残留 BatchSandbox;
- runner 等待 SVID:核对 allocation Pod UID、ClusterStaticEntry parentID、guest Agent 日志;
- runner 等待 token:核对 `192.168.10.127:8787` 的 sandbox 到 homelab 路由;
- Docker 任务失败:检查 `docker` sidecar 和 `/run/docker/docker.sock` 的 group 2000。
- Docker 任务失败:检查 workflow 的 job-local dockerd 日志及
`/var/run/docker.sock`;Pool 不提供共享或常驻 daemon。
- kind node 的 systemd 报 `Failed to create /init.scope` 或 `Structure needs
cleaning`:确认 `docker` sidecar 通过 `dockerd-entrypoint.sh` 启动。直接执行
`dockerd` 会绕过官方 DinD cgroup v2 nesting 初始化,使子容器的私有 cgroup
namespace 根变成 `threaded`,systemd 无法创建 domain cgroup。
cleaning`:确认 workflow 启动 dockerd 前完成 cgroup v2 nesting 初始化。否则
子容器的私有 cgroup namespace 根会变成 `threaded`,systemd 无法创建 domain
cgroup。
- kind 的 kubeadm 卡在 `CreateContainer`,而 nested containerd goroutine 停在
`bbolt` 的 `fdatasync`:不要直接把 Kata shared mount 用作 Docker 数据目录。
`ci-vm` 在 guest 内创建稀疏 ext4 镜像并 loop-mount 到 `/var/lib/docker`;该镜像
随 Sandbox 删除,不得在节点侧遗留。临时启动安装 `e2fsprogs` 仅用于首次集成
验证,验证后应固化到自有 DinD 镜像。
workflow 必须在 guest 内创建稀疏 ext4 镜像并 loop-mount 到
`/var/lib/docker`;该镜像随 Sandbox 删除,不得在节点侧遗留。
+1 -34
View File
@@ -66,15 +66,11 @@ spec:
value: https://git.ddupan.top
- name: HOME
value: /data
- name: DOCKER_HOST
value: unix:///run/docker/docker.sock
ports:
- name: task-executor
containerPort: 5758
securityContext:
allowPrivilegeEscalation: false
capabilities:
drop: [ALL]
privileged: true
runAsNonRoot: true
runAsUser: 2000
runAsGroup: 2000
@@ -83,8 +79,6 @@ spec:
mountPath: /opt/opensandbox
- name: runner-data
mountPath: /data
- name: docker-socket
mountPath: /run/docker
- name: spire-socket
mountPath: /run/spire/agent-sockets
- name: spire-agent
@@ -108,38 +102,11 @@ spec:
mountPath: /run/spire/data
- name: spire-socket
mountPath: /run/spire/agent-sockets
- name: docker
image: docker.io/library/docker:29.1.5-dind
command: [/bin/sh, -c]
args:
- |
set -eu
test -e /dev/kmsg || mknod /dev/kmsg c 1 11
apk add --no-cache e2fsprogs
truncate -s 20G /tmp/docker-data.img
mkfs.ext4 -F /tmp/docker-data.img
mount -o loop /tmp/docker-data.img /var/lib/docker
exec dockerd-entrypoint.sh dockerd \
--host=unix:///run/docker/docker.sock \
--group=2000 \
--storage-driver=overlay2
securityContext:
privileged: true
volumeMounts:
- name: docker-socket
mountPath: /run/docker
- name: docker-data
mountPath: /var/lib/docker
volumes:
- name: opensandbox-bin
emptyDir: {}
- name: runner-data
emptyDir: {}
- name: docker-data
emptyDir: {}
- name: docker-socket
emptyDir:
medium: Memory
- name: spire-data
emptyDir:
medium: Memory