Files
homelab-wiki/architecture/hybrid-storage-draft.md
T
2026-09-27 04:36:54 +00:00

150 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: 十万日元以内混合存储草案
last_reviewed: 2026-09-27
---
# 十万日元以内混合存储草案
状态:**draft**。依据维护者 2026-09-27 的讨论:第一版即评估 SSD/HDD 混合存储,
整机预算目标不超过 **100,000 日元**,优先日本二手 PC、低流量、千兆内网。
接受单存储机故障时停机,关注独立备份与可恢复性,不以跨主机高可用为前提。
本页未代表采购决定、已验证兼容的物料清单或部署记录;本轮未查询现场容量。
## 已有环境与接入边界
现有文档记录 [OpenEBS](../services/openebs.md) 提供本地 ZFS PVC,
[SeaweedFS](../services/seaweedfs.md) 提供 S3,[zot](../services/zot.md) 使用其对象存储。
StorageClass 名称中的 ceph 不代表现场已有独立 Ceph 集群。
本草案不自动迁移这些服务,也不把现有数据视为可以删除重建。
目标覆盖 VM、裸机/普通容器和 Kubernetes。Ceph 为候选统一后端:RBD 提供块存储,
CephFS 提供文件系统,RGW 提供 S3;CSI 只是 Kubernetes 接入方式。
OCI 镜像继续通过 registry 管理,不能将 S3 endpoint 当作 OCI registry。
未来评估 zot 后端迁移时需核对 S3 兼容性、对象迁移与回滚。
## 数据放置候选
| 介质/池 | 用途 | 候选策略 |
|---|---|---|
| SSD 元数据池 | CephFS 元数据、RBD 元数据、RGW 索引等 | 三副本,规模按实际对象数估计 |
| SSD 数据池 | 数据库、运行中的 VM 磁盘、其他活跃数据 | 评估 EC 2+1;按同步写延迟决定是否对部分数据使用副本池 |
| HDD 数据池 | 下载、做种、ISO、构建出的 VM 镜像、OCI blob、温冷数据 | 评估 EC 2+1,接受较低随机 I/O 性能 |
| 独立备份目的地 | 不可重建的数据、数据库原生备份与日志、恢复材料 | 必须离开本存储机;地点与成本尚未确定 |
CRUSH 规则按设备类别约束 SSD/HDD,故障域候选为 `osd`,每个 OSD 对应独立物理盘。
两个介质池分别使用 EC 2+1 时,至少需要 **3 SSD + 3 HDD**,不是三块混合介质凑出两池。
这是显式放置,不是自动冷热分层。做种/拉取并发仍需实测 HDD 延迟,不能假定全部是顺序 I/O。
假设 3×512 GB SSD 与 3×4 TB HDD:仅按 EC 数据计算,名义容量分别约 1.024 TB 和 8 TB。
这不是可承诺业务容量:SSD 还承载副本元数据,两组均需扣除系统开销与空闲余量。
三盘 EC 2+1 坏一盘后没有第三个同类 OSD 可恢复完整分片数,需换盘或增盘。
`min_size` 决定降级后的 I/O 边界;不能为了继续写入而默认降低它。
两个校验分片以上的布局需要更多同类盘,另行比较成本。
EC 的 k/m 不随扩盘改变,变更编码需新池及迁移。
## 硬件与预算门槛
按日本 junk/个人二手交易重新选品,基础机以 **5,000–10,000 日元为寻找目标**,
优先 CPU、主板、电源和机箱完整且可进入 BIOS 的整机;不再按保修商用整机价格估算。
这是等待合适货源的目标,不代表当前有满足六盘条件的现货。
整机自带内存应与裸机加内存比较总价,不能预设“补至 32 GB 只需 7,000 日元”。
CPU 先比较八代桌面 i5 和旧 Xeon E3 塔式机,不预留大量混跑计算业务的预算。
内存同时比较 16 GB 起步试验与 32 GB 整机方案,不把 32 GB 定为购买前提。
六 OSD 加 MON/MGR、MDS/RGW 的 16 GB 方案需要收紧各进程内存预算并验证恢复负载,
尚未证明能满足本环境;32 GB 也不是无需调优的保证。
系统盘独立,目标总连接数为六块数据盘加系统盘;系统盘可用原机 M.2,仍须核对端口共享。
选底座时先核实三个 3.5 英寸 HDD 的安装、三个 SSD 的固定、全部端口和电源线,
再比较 SATA 扩展卡/HBA、盘架、运费后的总价。单看“塔式”或 CPU 代数不能确定兼容。
DDR4 UDIMM、ECC UDIMM、RDIMM 和 SO-DIMM 必须按具体主板区分,不能用便宜的异种内存凑价。
### 2026-09-27 二手市场查阅记录
以下为查阅页面的标价或成交记录。网页可能使用缓存;“显示库存”不保证此刻仍可购买,
也不保证有三块相同条件的磁盘。已结束的交易仅用于设定寻找目标。
| 样本与来源 | 日元 | 页面状态与限制 |
|---|---:|---|
| [TX1310 M3,E3-1225 v6、8 GB、120 GB SSD](https://jmty.jp/shizuoka/sale-pcp/article-1r5eh5) | 5,000 | 8 月发布,已结束受理;静冈富士市自取,卖方称正常工作但按 junk 出售 |
| [OptiPlex 3070,i5-9500、32 GB、无盘](https://jp.mercari.com/item/m67679775226) | 17,000 | 已售,含运费;BIOS 确认,半高扩展槽的小机箱,不是六盘兼容推荐 |
| [Samsung DDR4-2666,8 GB×4](https://paypayfleamarket.yahoo.co.jp/item/z663609362) | 16,000 | 8 月 17 日已售,含运费;需要四个兼容 DIMM 插槽 |
| [じゃんぱら 桌面 DDR4-2666,16 GB 单条](https://www.janpara.co.jp/sale/search/detail/?ITMCODE=162546) | 9,980 | 页面列出库存;两条 19,960,不能推断为所有 DDR4 的最低价 |
| [Intel D3-S4610 480 GB×3,拍卖编号 v1238959510](https://auctions.yahoo.co.jp/jp/auction/v1238959510) | 18,150 | 结束交易列表显示 8 月 2 日成交,27 次竞价;原详情无法重新读取,运费及健康记录待核,不能作为现货 |
| [Ultrastar DC HC310 4 TB](https://paypayfleamarket.yahoo.co.jp/item/z638495592) | 11,800 | 已售,作为同容量二手 HDD 的价格样本 |
| [WD40EZAX 4 TB](https://store.shopping.yahoo.co.jp/excellar/1050028495.html) | 14,900 | 页面显示余量少;卖方标注 CMR、9,000–10,000 小时,东京免运,未确认三块库存 |
TX1310 M3 比大量办公 SFF 更值得筛选,但不是无需改装的六盘机。
[富士通日本规格书](https://jp.fujitsu.com/platform/server/primergy/catalog/close/pr201902/tx1310m3_catalog.pdf)
列出四个 3.5 英寸 SATA 盘位、一个 5 英寸半高位、四个 DIMM 插槽、四端口 SATA 控制器,
以及全高 PCIe x16/x4 插槽。六块数据盘加系统盘仍需核实扩展卡、SSD 盘架和供电;
旧服务器的内存规格应按完整型号与官方配置表确认。
### 有条件的预算,而非现货采购单
用主机 **10,000**、另购 32 GB 内存 **19,960**、上述三 SSD 成交价 **18,150**、
三块 HDD 按 **14,900×3** 计算,小计已经 **92,810 日元**,尚未包括缺失系统盘、
扩展卡、盘架和额外运费。SSD 是历史成交价,HDD 数量未确认,因此这不是可下单总价。
若找到类似 **17,000 日元含 32 GB 的整机**,同样磁盘价格下小计为 **79,850 日元**,
才有约两万日元处理扩展与运输;但上述 OptiPlex 机箱不适合直接照搬此组合。
下一轮应优先找盘位合适且带足内存的塔式整机,以及型号和健康数据明确的企业 SSD 批次,
而不是锁定最便宜的小机箱再不断追加改装费用。
结论是十万目标有继续寻找二手组合的依据,**尚未找到兼容性、库存和含运费总价全部落实的组合**。
原先 24,000 日元买齐三块 4 TB HDD、7,000 日元补至 32 GB 的额度撤回,不能继续当作预算事实。
预算暂不含新购独立备份设备;若没有可用目的地,需纳入最终总价或分阶段投入。
## 企业拆机盘、HBA 与跨境采购
维护者补充的筛选方向:优先比较日本及中国国内二手企业级 SSD/HDD,主机也纳入跨境比价;
不限定消费级磁盘,不因主板 SATA 口不足直接淘汰基础机,可增加 SAS HBA。
跨境方案按商品、境内运输、国际运输、实际税费与退换成本计算到手价,不能仅换算挂牌价。
国内公开搜索本轮未获得可核实的当前完整报价,不将旧交易或行情转载写成现货价格。
企业 SSD 优先核对 PLP、剩余耐久、完整型号与固件,以及同步写表现。
[Ceph 硬件建议](https://docs.ceph.com/en/latest/start/hardware-recommendations/)
强调企业 SSD 的掉电保护与持续性能;企业级不等于二手个体已健康,也不必一律购买高 DWPD 型号。
SATA 与 SAS HDD 均参与比价,按相同容量、检测程度和退换条件比较。
2026-09-27 搜索索引提供一个新的价格线索:
[HGST HUS726040ALS210 / EMC HUS72604CLAR4000,4 TB SAS](https://store.shopping.yahoo.co.jp/misaonet/hitachihgsthus726040als2104tbsasemchus72604clar4000.html)
标价 **5,258 日元**。详情页未成功读取,库存、运输、扇区格式与健康数据均未核实,
不能据此确认可用,也不能当作已验证三盘报价。该样本足以支持继续查 SAS 企业盘,
原先 14,900 日元的 SATA 样本不是二手 4 TB 的价格下限。
HBA 候选可从 LSI 9207-8i / SAS2308 同类卡比较:
[官方规格](https://docs.broadcom.com/doc/12352057)列出 PCIe 3.0 x8、八个 SAS/SATA 端口、
两个 SFF-8087 接口及 9.8 W 功耗;
[官方固件说明](https://www.broadcom.com/support/knowledgebase/1211161500727/lsi-sas-9207---9217-firmware)
说明 9207 出厂 IT 固件允许单盘直通。OEM 卡仍须逐型号确认固件、接口与兼容性。
HBA 的选型费用包括对应 SAS/SATA 线束、供电、挡板和散热,不能只算卡价。
[官方用户指南](https://docs.broadcom.com/doc/12353331)规定最低风速 200 LFM,
普通塔式机需要检查卡周围风道,而非只确认机箱有风扇。
[SAS 控制器可以接 SATA 盘,SATA 控制器不能接 SAS 盘](https://www.seagate.com/gb/en/support/kb/connecting-sata-drive-to-sas-controller-006170en/)。
实际采购核实磁盘端连接器与线束;存储阵列拆机盘另查逻辑扇区格式、锁定状态和 OEM 固件,
不能默认所有盘都可直接接入或重新格式化。Ceph 候选保持每块物理盘独立暴露给 OSD。
下一轮优先比较日本本地底座搭配国内小件/磁盘,与整机跨境两种到手成本;
盘位、HBA 插槽、供电和散热仍需对具体机器核实。当前没有采购或部署动作。
## 下一步与实施门槛
1. 确定 SSD 活跃数据和 HDD 温冷数据各自所需的可用容量、增长余量;当前尚未提供。
2. 筛在售的二手基础机与磁盘,逐项核实盘位、供电、接口、内存和含运费总价。
3. 用选定版本验证六 OSD 的内存、同步随机写、镜像分发、做种并发和坏盘重建影响。
4. 演练系统盘重装、MON 状态与凭据恢复、数据库原生备份还原;不将 OSD 尚存等同于可直接导入。
5. 通过后单独制定消费者迁移与回滚步骤;本草案不授权购置、部署或移动数据。
若六盘及基础机无法压到预算内,优先调整容量或采购阶段,明确记录取舍;
不通过未说明的单副本、混合介质分片或降低 `min_size` 凑预算。
## 技术依据
- [Ceph CRUSH 设备类别](https://docs.ceph.com/en/latest/rados/operations/crush-map/)
- [Ceph EC、元数据池与编码边界](https://docs.ceph.com/en/latest/rados/operations/erasure-code/)
- [Ceph 内存与硬件建议](https://docs.ceph.com/en/latest/start/hardware-recommendations/)
上游 latest 文档可能对应开发版本;真正部署前需按所选稳定版本重新核对支持范围。