From 264b8f27d05225ba4dd99a0d7c61d4767bbaf1b4 Mon Sep 17 00:00:00 2001 From: panxiao81 Date: Sun, 27 Sep 2026 04:23:04 +0000 Subject: [PATCH] =?UTF-8?q?=E8=A7=84=E5=88=92=E5=8D=81=E4=B8=87=E6=97=A5?= =?UTF-8?q?=E5=85=83=E4=BB=A5=E5=86=85=E7=9A=84=E5=8D=95=E6=9C=BA=E6=B7=B7?= =?UTF-8?q?=E5=90=88=E5=AD=98=E5=82=A8=E5=80=99=E9=80=89=E6=96=B9=E6=A1=88?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- architecture/constraints.md | 4 ++ architecture/hybrid-storage-draft.md | 97 ++++++++++++++++++++++++++++ 2 files changed, 101 insertions(+) create mode 100644 architecture/hybrid-storage-draft.md diff --git a/architecture/constraints.md b/architecture/constraints.md index 15b9a21..b1d9414 100644 --- a/architecture/constraints.md +++ b/architecture/constraints.md @@ -36,6 +36,10 @@ ## 待评估草案 +[十万日元以内混合存储草案](hybrid-storage-draft.md)(2026-09-27,draft)评估单机 +Ceph SSD/HDD 分池、千兆起步与二手 PC。预算与方向来自维护者讨论,尚未形成已验证的 +采购清单,未部署或替代现有存储;备份与恢复优先于跨主机高可用。 + [独立 IAM 与 agent 身份草案](independent-iam-draft.md)(2026-09-25,draft)提出以 Hydra 解耦认证与签发,通过 OIDC 接入人类、machine 和 agent,并作为 Ayatori 的独立外部依赖。 完整方案仍为草案。2026-09-25 已按维护者要求先实施人类登录 PoC,上表显式记录其有限 diff --git a/architecture/hybrid-storage-draft.md b/architecture/hybrid-storage-draft.md new file mode 100644 index 0000000..012a127 --- /dev/null +++ b/architecture/hybrid-storage-draft.md @@ -0,0 +1,97 @@ +--- +title: 十万日元以内混合存储草案 +last_reviewed: 2026-09-27 +--- + +# 十万日元以内混合存储草案 + +状态:**draft**。依据维护者 2026-09-27 的讨论:第一版即评估 SSD/HDD 混合存储, +整机预算目标不超过 **100,000 日元**,优先日本二手 PC、低流量、千兆内网。 +接受单存储机故障时停机,关注独立备份与可恢复性,不以跨主机高可用为前提。 +本页未代表采购决定、已验证兼容的物料清单或部署记录;本轮未查询现场容量。 + +## 已有环境与接入边界 + +现有文档记录 [OpenEBS](../services/openebs.md) 提供本地 ZFS PVC, +[SeaweedFS](../services/seaweedfs.md) 提供 S3,[zot](../services/zot.md) 使用其对象存储。 +StorageClass 名称中的 ceph 不代表现场已有独立 Ceph 集群。 +本草案不自动迁移这些服务,也不把现有数据视为可以删除重建。 + +目标覆盖 VM、裸机/普通容器和 Kubernetes。Ceph 为候选统一后端:RBD 提供块存储, +CephFS 提供文件系统,RGW 提供 S3;CSI 只是 Kubernetes 接入方式。 +OCI 镜像继续通过 registry 管理,不能将 S3 endpoint 当作 OCI registry。 +未来评估 zot 后端迁移时需核对 S3 兼容性、对象迁移与回滚。 + +## 数据放置候选 + +| 介质/池 | 用途 | 候选策略 | +|---|---|---| +| SSD 元数据池 | CephFS 元数据、RBD 元数据、RGW 索引等 | 三副本,规模按实际对象数估计 | +| SSD 数据池 | 数据库、运行中的 VM 磁盘、其他活跃数据 | 评估 EC 2+1;按同步写延迟决定是否对部分数据使用副本池 | +| HDD 数据池 | 下载、做种、ISO、构建出的 VM 镜像、OCI blob、温冷数据 | 评估 EC 2+1,接受较低随机 I/O 性能 | +| 独立备份目的地 | 不可重建的数据、数据库原生备份与日志、恢复材料 | 必须离开本存储机;地点与成本尚未确定 | + +CRUSH 规则按设备类别约束 SSD/HDD,故障域候选为 `osd`,每个 OSD 对应独立物理盘。 +两个介质池分别使用 EC 2+1 时,至少需要 **3 SSD + 3 HDD**,不是三块混合介质凑出两池。 +这是显式放置,不是自动冷热分层。做种/拉取并发仍需实测 HDD 延迟,不能假定全部是顺序 I/O。 + +假设 3×512 GB SSD 与 3×4 TB HDD:仅按 EC 数据计算,名义容量分别约 1.024 TB 和 8 TB。 +这不是可承诺业务容量:SSD 还承载副本元数据,两组均需扣除系统开销与空闲余量。 +三盘 EC 2+1 坏一盘后没有第三个同类 OSD 可恢复完整分片数,需换盘或增盘。 +`min_size` 决定降级后的 I/O 边界;不能为了继续写入而默认降低它。 +两个校验分片以上的布局需要更多同类盘,另行比较成本。 +EC 的 k/m 不随扩盘改变,变更编码需新池及迁移。 + +## 硬件与预算门槛 + +以下是为了约束选品的**目标额度,不是已经查到的成交价**: + +| 项目 | 目标额度(日元) | 验收条件 | +|---|---:|---| +| 八代桌面 Core 二手主机,含系统盘 | 20,000 | 塔式优先;核对盘位、SATA/PCIe、供电与散热 | +| 内存补至 32 GB | 7,000 | 按原机 DIMM 配置核算;六 OSD 不沿用三 OSD 的 16 GB 预算 | +| 3×约 500 GB SSD | 33,000 | 明确型号,核对持续/同步写性能和健康状态 | +| 3×4 TB 二手 CMR HDD | 24,000 | 寻找型号明确、SMART/检测结果可核对的货源 | +| 控制器、线材、盘架、供电处理 | 10,000 | 核对 PCIe 链路与电源线;不能仅按“塔式”认定能装下 | +| 运费与余量 | 6,000 | 超额时重新核算整套方案 | +| 合计上限 | **100,000** | 尚未找到满足所有条件且可同时购买的组合 | + +CPU 先筛八代桌面 i5 级别,不预留混跑大量计算业务的预算。 +六 OSD 的 32 GB 仍属需要限制内存目标并实测恢复负载的预算配置,不能当作无条件足够。 +系统盘独立,目标总连接数为六块数据盘加系统盘;系统盘可用原机 M.2,仍须核对端口共享。 +部分商用小机箱/塔式机盘位或电源为专有设计,外观尺寸不等于扩展能力。 +优先核实基础机的接口与供电,再决定 SATA SSD、NVMe 或是否需要 HBA。 + +### 2026-09-27 价格查阅边界 + +- [CFD 512 GB SATA SSD 价格记录](https://kakaku.com/item/K0001534365/pricehistory/): + 页面显示 10,980 日元/块,三块 32,940 日元。只作为价格样本,不是已认可的 Ceph 用盘。 +- [IronWolf ST4000VN006 4 TB](https://kakaku.com/item/K0001465913/): + 页面显示 31,980 日元/块,三块 95,940 日元。这组新品样本无法满足整机十万目标。 +- [二手 SATA 4 TB 样本](https://store.shopping.yahoo.co.jp/janpara/68437575-68.html): + 标价 7,980 日元,但页面缺货且标题未明确型号,不能当成可下单的 CMR 货源。 +- [HP 800 G4 TWR / i5-8500 / 16 GB 样本](https://store.shopping.yahoo.co.jp/aqua-light/19739.html): + 标价 44,800 日元且缺货,高于上述主机目标;没有据此确认六盘兼容性。 + +查询到的样本只支持“需要进一步筛二手货源”,不证明所有新品都不可能达标, +也不证明二手六盘整机已经能在十万以内买到。不能用过期促销、缺货价格拼现货总价。 +预算暂不含新购独立备份设备;若没有可用目的地,需纳入最终总价或分阶段投入。 + +## 下一步与实施门槛 + +1. 确定 SSD 活跃数据和 HDD 温冷数据各自所需的可用容量、增长余量;当前尚未提供。 +2. 筛在售的二手基础机与磁盘,逐项核实盘位、供电、接口、内存和含运费总价。 +3. 用选定版本验证六 OSD 的内存、同步随机写、镜像分发、做种并发和坏盘重建影响。 +4. 演练系统盘重装、MON 状态与凭据恢复、数据库原生备份还原;不将 OSD 尚存等同于可直接导入。 +5. 通过后单独制定消费者迁移与回滚步骤;本草案不授权购置、部署或移动数据。 + +若六盘及基础机无法压到预算内,优先调整容量或采购阶段,明确记录取舍; +不通过未说明的单副本、混合介质分片或降低 `min_size` 凑预算。 + +## 技术依据 + +- [Ceph CRUSH 设备类别](https://docs.ceph.com/en/latest/rados/operations/crush-map/) +- [Ceph EC、元数据池与编码边界](https://docs.ceph.com/en/latest/rados/operations/erasure-code/) +- [Ceph 内存与硬件建议](https://docs.ceph.com/en/latest/start/hardware-recommendations/) + +上游 latest 文档可能对应开发版本;真正部署前需按所选稳定版本重新核对支持范围。