Files
homelab-wiki/architecture/hybrid-storage-draft.md
T
2026-09-27 04:36:54 +00:00

11 KiB
Raw Blame History

title, last_reviewed
title last_reviewed
十万日元以内混合存储草案 2026-09-27

十万日元以内混合存储草案

状态:draft。依据维护者 2026-09-27 的讨论:第一版即评估 SSD/HDD 混合存储, 整机预算目标不超过 100,000 日元,优先日本二手 PC、低流量、千兆内网。 接受单存储机故障时停机,关注独立备份与可恢复性,不以跨主机高可用为前提。 本页未代表采购决定、已验证兼容的物料清单或部署记录;本轮未查询现场容量。

已有环境与接入边界

现有文档记录 OpenEBS 提供本地 ZFS PVC, SeaweedFS 提供 S3,zot 使用其对象存储。 StorageClass 名称中的 ceph 不代表现场已有独立 Ceph 集群。 本草案不自动迁移这些服务,也不把现有数据视为可以删除重建。

目标覆盖 VM、裸机/普通容器和 Kubernetes。Ceph 为候选统一后端:RBD 提供块存储, CephFS 提供文件系统,RGW 提供 S3;CSI 只是 Kubernetes 接入方式。 OCI 镜像继续通过 registry 管理,不能将 S3 endpoint 当作 OCI registry。 未来评估 zot 后端迁移时需核对 S3 兼容性、对象迁移与回滚。

数据放置候选

介质/池 用途 候选策略
SSD 元数据池 CephFS 元数据、RBD 元数据、RGW 索引等 三副本,规模按实际对象数估计
SSD 数据池 数据库、运行中的 VM 磁盘、其他活跃数据 评估 EC 2+1;按同步写延迟决定是否对部分数据使用副本池
HDD 数据池 下载、做种、ISO、构建出的 VM 镜像、OCI blob、温冷数据 评估 EC 2+1,接受较低随机 I/O 性能
独立备份目的地 不可重建的数据、数据库原生备份与日志、恢复材料 必须离开本存储机;地点与成本尚未确定

CRUSH 规则按设备类别约束 SSD/HDD,故障域候选为 osd,每个 OSD 对应独立物理盘。 两个介质池分别使用 EC 2+1 时,至少需要 3 SSD + 3 HDD,不是三块混合介质凑出两池。 这是显式放置,不是自动冷热分层。做种/拉取并发仍需实测 HDD 延迟,不能假定全部是顺序 I/O。

假设 3×512 GB SSD 与 3×4 TB HDD:仅按 EC 数据计算,名义容量分别约 1.024 TB 和 8 TB。 这不是可承诺业务容量:SSD 还承载副本元数据,两组均需扣除系统开销与空闲余量。 三盘 EC 2+1 坏一盘后没有第三个同类 OSD 可恢复完整分片数,需换盘或增盘。 min_size 决定降级后的 I/O 边界;不能为了继续写入而默认降低它。 两个校验分片以上的布局需要更多同类盘,另行比较成本。 EC 的 k/m 不随扩盘改变,变更编码需新池及迁移。

硬件与预算门槛

按日本 junk/个人二手交易重新选品,基础机以 5,000–10,000 日元为寻找目标, 优先 CPU、主板、电源和机箱完整且可进入 BIOS 的整机;不再按保修商用整机价格估算。 这是等待合适货源的目标,不代表当前有满足六盘条件的现货。 整机自带内存应与裸机加内存比较总价,不能预设“补至 32 GB 只需 7,000 日元”。

CPU 先比较八代桌面 i5 和旧 Xeon E3 塔式机,不预留大量混跑计算业务的预算。 内存同时比较 16 GB 起步试验与 32 GB 整机方案,不把 32 GB 定为购买前提。 六 OSD 加 MON/MGR、MDS/RGW 的 16 GB 方案需要收紧各进程内存预算并验证恢复负载, 尚未证明能满足本环境;32 GB 也不是无需调优的保证。

系统盘独立,目标总连接数为六块数据盘加系统盘;系统盘可用原机 M.2,仍须核对端口共享。 选底座时先核实三个 3.5 英寸 HDD 的安装、三个 SSD 的固定、全部端口和电源线, 再比较 SATA 扩展卡/HBA、盘架、运费后的总价。单看“塔式”或 CPU 代数不能确定兼容。 DDR4 UDIMM、ECC UDIMM、RDIMM 和 SO-DIMM 必须按具体主板区分,不能用便宜的异种内存凑价。

2026-09-27 二手市场查阅记录

以下为查阅页面的标价或成交记录。网页可能使用缓存;“显示库存”不保证此刻仍可购买, 也不保证有三块相同条件的磁盘。已结束的交易仅用于设定寻找目标。

样本与来源 日元 页面状态与限制
TX1310 M3,E3-1225 v6、8 GB、120 GB SSD 5,000 8 月发布,已结束受理;静冈富士市自取,卖方称正常工作但按 junk 出售
OptiPlex 3070,i5-9500、32 GB、无盘 17,000 已售,含运费;BIOS 确认,半高扩展槽的小机箱,不是六盘兼容推荐
Samsung DDR4-2666,8 GB×4 16,000 8 月 17 日已售,含运费;需要四个兼容 DIMM 插槽
じゃんぱら 桌面 DDR4-2666,16 GB 单条 9,980 页面列出库存;两条 19,960,不能推断为所有 DDR4 的最低价
Intel D3-S4610 480 GB×3,拍卖编号 v1238959510 18,150 结束交易列表显示 8 月 2 日成交,27 次竞价;原详情无法重新读取,运费及健康记录待核,不能作为现货
Ultrastar DC HC310 4 TB 11,800 已售,作为同容量二手 HDD 的价格样本
WD40EZAX 4 TB 14,900 页面显示余量少;卖方标注 CMR、9,000–10,000 小时,东京免运,未确认三块库存

TX1310 M3 比大量办公 SFF 更值得筛选,但不是无需改装的六盘机。 富士通日本规格书 列出四个 3.5 英寸 SATA 盘位、一个 5 英寸半高位、四个 DIMM 插槽、四端口 SATA 控制器, 以及全高 PCIe x16/x4 插槽。六块数据盘加系统盘仍需核实扩展卡、SSD 盘架和供电; 旧服务器的内存规格应按完整型号与官方配置表确认。

有条件的预算,而非现货采购单

用主机 10,000、另购 32 GB 内存 19,960、上述三 SSD 成交价 18,150、 三块 HDD 按 14,900×3 计算,小计已经 92,810 日元,尚未包括缺失系统盘、 扩展卡、盘架和额外运费。SSD 是历史成交价,HDD 数量未确认,因此这不是可下单总价。

若找到类似 17,000 日元含 32 GB 的整机,同样磁盘价格下小计为 79,850 日元, 才有约两万日元处理扩展与运输;但上述 OptiPlex 机箱不适合直接照搬此组合。 下一轮应优先找盘位合适且带足内存的塔式整机,以及型号和健康数据明确的企业 SSD 批次, 而不是锁定最便宜的小机箱再不断追加改装费用。

结论是十万目标有继续寻找二手组合的依据,尚未找到兼容性、库存和含运费总价全部落实的组合。 原先 24,000 日元买齐三块 4 TB HDD、7,000 日元补至 32 GB 的额度撤回,不能继续当作预算事实。 预算暂不含新购独立备份设备;若没有可用目的地,需纳入最终总价或分阶段投入。

企业拆机盘、HBA 与跨境采购

维护者补充的筛选方向:优先比较日本及中国国内二手企业级 SSD/HDD,主机也纳入跨境比价; 不限定消费级磁盘,不因主板 SATA 口不足直接淘汰基础机,可增加 SAS HBA。 跨境方案按商品、境内运输、国际运输、实际税费与退换成本计算到手价,不能仅换算挂牌价。 国内公开搜索本轮未获得可核实的当前完整报价,不将旧交易或行情转载写成现货价格。

企业 SSD 优先核对 PLP、剩余耐久、完整型号与固件,以及同步写表现。 Ceph 硬件建议 强调企业 SSD 的掉电保护与持续性能;企业级不等于二手个体已健康,也不必一律购买高 DWPD 型号。 SATA 与 SAS HDD 均参与比价,按相同容量、检测程度和退换条件比较。

2026-09-27 搜索索引提供一个新的价格线索: HGST HUS726040ALS210 / EMC HUS72604CLAR4000,4 TB SAS 标价 5,258 日元。详情页未成功读取,库存、运输、扇区格式与健康数据均未核实, 不能据此确认可用,也不能当作已验证三盘报价。该样本足以支持继续查 SAS 企业盘, 原先 14,900 日元的 SATA 样本不是二手 4 TB 的价格下限。

HBA 候选可从 LSI 9207-8i / SAS2308 同类卡比较: 官方规格列出 PCIe 3.0 x8、八个 SAS/SATA 端口、 两个 SFF-8087 接口及 9.8 W 功耗; 官方固件说明 说明 9207 出厂 IT 固件允许单盘直通。OEM 卡仍须逐型号确认固件、接口与兼容性。 HBA 的选型费用包括对应 SAS/SATA 线束、供电、挡板和散热,不能只算卡价。 官方用户指南规定最低风速 200 LFM, 普通塔式机需要检查卡周围风道,而非只确认机箱有风扇。

SAS 控制器可以接 SATA 盘,SATA 控制器不能接 SAS 盘。 实际采购核实磁盘端连接器与线束;存储阵列拆机盘另查逻辑扇区格式、锁定状态和 OEM 固件, 不能默认所有盘都可直接接入或重新格式化。Ceph 候选保持每块物理盘独立暴露给 OSD。

下一轮优先比较日本本地底座搭配国内小件/磁盘,与整机跨境两种到手成本; 盘位、HBA 插槽、供电和散热仍需对具体机器核实。当前没有采购或部署动作。

下一步与实施门槛

  1. 确定 SSD 活跃数据和 HDD 温冷数据各自所需的可用容量、增长余量;当前尚未提供。
  2. 筛在售的二手基础机与磁盘,逐项核实盘位、供电、接口、内存和含运费总价。
  3. 用选定版本验证六 OSD 的内存、同步随机写、镜像分发、做种并发和坏盘重建影响。
  4. 演练系统盘重装、MON 状态与凭据恢复、数据库原生备份还原;不将 OSD 尚存等同于可直接导入。
  5. 通过后单独制定消费者迁移与回滚步骤;本草案不授权购置、部署或移动数据。

若六盘及基础机无法压到预算内,优先调整容量或采购阶段,明确记录取舍; 不通过未说明的单副本、混合介质分片或降低 min_size 凑预算。

技术依据

上游 latest 文档可能对应开发版本;真正部署前需按所选稳定版本重新核对支持范围。