冷热分层存储如何设计？

简化版

冷热分层按访问频率、延迟 SLO、数据年龄和合规要求，把热数据放在 SSD/高性能副本，冷数据迁到 HDD 或对象存储。设计关键是可解释的温度判定、先复制校验再切读路径、异步召回与缓存，以及防止数据在阈值附近反复搬迁；不能只按“30 天未访问”机械归档。

详细版

温度评分可组合近 1/7/30 天访问次数、最后访问时间、对象大小和业务等级。小而关键的数据即使低频，也可能因低延迟 SLO 留在热层。

迁冷流程是复制到冷层、校验 checksum、更新元数据版本、切换权威位置、观察后删除热副本。迁热则先召回并验证，再让请求切换，不能先改指针后搬数据。

例如 100 TB 中 80 TB 月访问不到一次，热层成本 0.8 元/GB·月、冷层 0.15 元，理论月节省约 5.2 万元；还要扣除 API、检索、出口和迁移成本。

系统需要滞回和最短驻留期，例如低于冷阈值 7 天才迁冷，高于热阈值连续 3 次才召回，避免冷热震荡。

完整版教学

一、分层解决成本与性能矛盾

全量使用高性能介质成本高，而全量冷存储无法满足在线查询。分层让不同数据获得不同延迟、吞吐和价格，但增加了元数据、迁移和召回复杂度。系统不仅要决定数据放在哪一层，还要定义权威位置、首次冷读语义和失败回滚。若迁移状态不可审计，节省的介质成本很容易被数据丢失与不可预测延迟抵消。

二、温度不是只看年龄

最近未访问可能因为季节性，历史档案也可能在审计时突发读取。温度应是多信号评分，并允许业务标签覆盖自动规则。

信号	作用	风险
最近访问时间	简单直观	忽略周期性
访问频率	识别热度	统计窗口滞后
数据大小	估算收益	大但关键数据不可随意冷却
SLO/合规标签	保护业务约束	需要治理标签质量

三、迁冷的安全状态机

迁移必须 copy-before-delete。先冻结源版本或记录增量水位，复制到冷层，核对长度与 checksum，元数据 CAS 切换位置，观察无误后才回收热副本。

HOT -> COPYING -> VERIFIED -> COLD_PRIMARY -> CLEANUP_HOT

失败可从中间状态重试，任务 ID 保证幂等。元数据更新失败时冷层对象只是孤儿候选，可由 GC 在安全期后清理，不能误删仍被引用的数据。

四、召回和首次读取

冷层读取可能从 10 ms 变成数秒甚至分钟。API 应明确同步等待、返回异步任务还是提供降级摘要。大对象可按块召回，优先返回请求范围，后台继续预热。

惊群时不能让一万个相同请求各自召回同一对象，应使用 singleflight 和召回锁。召回结果进入热缓存，并设置最短驻留期，防止读完立即又迁冷。

五、成本算例不能漏隐藏项

80 TB 从 0.8 降到 0.15 元/GB·月，介质价差约 80,000 × 0.65 = 52,000 元/月。若每月召回与出口成本 12,000 元、迁移计算 5,000 元，净收益约 35,000 元。

因此策略要统计真实命中、召回、API 请求、跨区流量和运维成本。只比较存储单价会高估收益。

六、可靠性与治理

冷层同样需要耐久性、版本和备份策略。对象存储的高耐久不等于可防误删；生命周期规则和删除权限错误会快速影响大量数据。合规保留、法律冻结和加密密钥必须随对象迁移。

监控各层容量、迁移 backlog、校验失败、召回 P95/P99、召回命中、震荡率、孤儿对象和净成本。策略发布先小流量影子评估，再逐步扩大。

记忆钩子：分层不是“旧数据搬便宜盘”，而是“以可恢复状态机改变权威位置，并把召回延迟写进产品语义”。

七、常见误区与追问

• 误区：30 天没访问就一定是冷数据。 还要看业务 SLO、周期性和合规标签。
• 误区：复制成功即可删除热副本。 必须校验并原子切换元数据，保留观察窗口。
• 误区：冷层成本只看每 GB 单价。 检索、API、出口和计算成本可能很高。
• 追问：如何防冷热震荡？ 使用不同升降阈值、持续窗口和最短驻留期。
• 追问：首次冷读怎么优化？ 异步任务、分块召回、请求合并和热点预取。
• 追问：元数据切换失败怎么办？ 旧位置继续权威，冷副本保留待重试或安全 GC。

八、加强记忆

冷热分层按“判温—复制—校验—切权威—清旧—可召回”串联。温度由访问、大小、SLO 与合规共同决定；滞回防震荡，幂等状态机保迁移，召回语义保体验，完整成本模型才证明方案真的省钱。