Files
homelab-wiki/architecture/hybrid-storage-draft.md
T
2026-09-27 04:23:04 +00:00

98 lines
6.4 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: 十万日元以内混合存储草案
last_reviewed: 2026-09-27
---
# 十万日元以内混合存储草案
状态:**draft**。依据维护者 2026-09-27 的讨论:第一版即评估 SSD/HDD 混合存储,
整机预算目标不超过 **100,000 日元**,优先日本二手 PC、低流量、千兆内网。
接受单存储机故障时停机,关注独立备份与可恢复性,不以跨主机高可用为前提。
本页未代表采购决定、已验证兼容的物料清单或部署记录;本轮未查询现场容量。
## 已有环境与接入边界
现有文档记录 [OpenEBS](../services/openebs.md) 提供本地 ZFS PVC,
[SeaweedFS](../services/seaweedfs.md) 提供 S3,[zot](../services/zot.md) 使用其对象存储。
StorageClass 名称中的 ceph 不代表现场已有独立 Ceph 集群。
本草案不自动迁移这些服务,也不把现有数据视为可以删除重建。
目标覆盖 VM、裸机/普通容器和 Kubernetes。Ceph 为候选统一后端:RBD 提供块存储,
CephFS 提供文件系统,RGW 提供 S3;CSI 只是 Kubernetes 接入方式。
OCI 镜像继续通过 registry 管理,不能将 S3 endpoint 当作 OCI registry。
未来评估 zot 后端迁移时需核对 S3 兼容性、对象迁移与回滚。
## 数据放置候选
| 介质/池 | 用途 | 候选策略 |
|---|---|---|
| SSD 元数据池 | CephFS 元数据、RBD 元数据、RGW 索引等 | 三副本,规模按实际对象数估计 |
| SSD 数据池 | 数据库、运行中的 VM 磁盘、其他活跃数据 | 评估 EC 2+1;按同步写延迟决定是否对部分数据使用副本池 |
| HDD 数据池 | 下载、做种、ISO、构建出的 VM 镜像、OCI blob、温冷数据 | 评估 EC 2+1,接受较低随机 I/O 性能 |
| 独立备份目的地 | 不可重建的数据、数据库原生备份与日志、恢复材料 | 必须离开本存储机;地点与成本尚未确定 |
CRUSH 规则按设备类别约束 SSD/HDD,故障域候选为 `osd`,每个 OSD 对应独立物理盘。
两个介质池分别使用 EC 2+1 时,至少需要 **3 SSD + 3 HDD**,不是三块混合介质凑出两池。
这是显式放置,不是自动冷热分层。做种/拉取并发仍需实测 HDD 延迟,不能假定全部是顺序 I/O。
假设 3×512 GB SSD 与 3×4 TB HDD:仅按 EC 数据计算,名义容量分别约 1.024 TB 和 8 TB。
这不是可承诺业务容量:SSD 还承载副本元数据,两组均需扣除系统开销与空闲余量。
三盘 EC 2+1 坏一盘后没有第三个同类 OSD 可恢复完整分片数,需换盘或增盘。
`min_size` 决定降级后的 I/O 边界;不能为了继续写入而默认降低它。
两个校验分片以上的布局需要更多同类盘,另行比较成本。
EC 的 k/m 不随扩盘改变,变更编码需新池及迁移。
## 硬件与预算门槛
以下是为了约束选品的**目标额度,不是已经查到的成交价**:
| 项目 | 目标额度(日元) | 验收条件 |
|---|---:|---|
| 八代桌面 Core 二手主机,含系统盘 | 20,000 | 塔式优先;核对盘位、SATA/PCIe、供电与散热 |
| 内存补至 32 GB | 7,000 | 按原机 DIMM 配置核算;六 OSD 不沿用三 OSD 的 16 GB 预算 |
| 3×约 500 GB SSD | 33,000 | 明确型号,核对持续/同步写性能和健康状态 |
| 3×4 TB 二手 CMR HDD | 24,000 | 寻找型号明确、SMART/检测结果可核对的货源 |
| 控制器、线材、盘架、供电处理 | 10,000 | 核对 PCIe 链路与电源线;不能仅按“塔式”认定能装下 |
| 运费与余量 | 6,000 | 超额时重新核算整套方案 |
| 合计上限 | **100,000** | 尚未找到满足所有条件且可同时购买的组合 |
CPU 先筛八代桌面 i5 级别,不预留混跑大量计算业务的预算。
六 OSD 的 32 GB 仍属需要限制内存目标并实测恢复负载的预算配置,不能当作无条件足够。
系统盘独立,目标总连接数为六块数据盘加系统盘;系统盘可用原机 M.2,仍须核对端口共享。
部分商用小机箱/塔式机盘位或电源为专有设计,外观尺寸不等于扩展能力。
优先核实基础机的接口与供电,再决定 SATA SSD、NVMe 或是否需要 HBA。
### 2026-09-27 价格查阅边界
- [CFD 512 GB SATA SSD 价格记录](https://kakaku.com/item/K0001534365/pricehistory/):
页面显示 10,980 日元/块,三块 32,940 日元。只作为价格样本,不是已认可的 Ceph 用盘。
- [IronWolf ST4000VN006 4 TB](https://kakaku.com/item/K0001465913/):
页面显示 31,980 日元/块,三块 95,940 日元。这组新品样本无法满足整机十万目标。
- [二手 SATA 4 TB 样本](https://store.shopping.yahoo.co.jp/janpara/68437575-68.html):
标价 7,980 日元,但页面缺货且标题未明确型号,不能当成可下单的 CMR 货源。
- [HP 800 G4 TWR / i5-8500 / 16 GB 样本](https://store.shopping.yahoo.co.jp/aqua-light/19739.html):
标价 44,800 日元且缺货,高于上述主机目标;没有据此确认六盘兼容性。
查询到的样本只支持“需要进一步筛二手货源”,不证明所有新品都不可能达标,
也不证明二手六盘整机已经能在十万以内买到。不能用过期促销、缺货价格拼现货总价。
预算暂不含新购独立备份设备;若没有可用目的地,需纳入最终总价或分阶段投入。
## 下一步与实施门槛
1. 确定 SSD 活跃数据和 HDD 温冷数据各自所需的可用容量、增长余量;当前尚未提供。
2. 筛在售的二手基础机与磁盘,逐项核实盘位、供电、接口、内存和含运费总价。
3. 用选定版本验证六 OSD 的内存、同步随机写、镜像分发、做种并发和坏盘重建影响。
4. 演练系统盘重装、MON 状态与凭据恢复、数据库原生备份还原;不将 OSD 尚存等同于可直接导入。
5. 通过后单独制定消费者迁移与回滚步骤;本草案不授权购置、部署或移动数据。
若六盘及基础机无法压到预算内,优先调整容量或采购阶段,明确记录取舍;
不通过未说明的单副本、混合介质分片或降低 `min_size` 凑预算。
## 技术依据
- [Ceph CRUSH 设备类别](https://docs.ceph.com/en/latest/rados/operations/crush-map/)
- [Ceph EC、元数据池与编码边界](https://docs.ceph.com/en/latest/rados/operations/erasure-code/)
- [Ceph 内存与硬件建议](https://docs.ceph.com/en/latest/start/hardware-recommendations/)
上游 latest 文档可能对应开发版本;真正部署前需按所选稳定版本重新核对支持范围。