机器学习中如何做数据版本管理与可复现训练？
简化版
一次训练必须能唯一还原代码、配置、原始数据快照、特征逻辑、随机种子和运行环境，模型文件本身不是完整版本。
回答时应把“不可变数据快照与完整训练谱系”讲清，再说明如何验证和落地；关键边界是：只固定 random seed 仍可能受 GPU 非确定算子和数据读取顺序影响；latest 路径会让历史实验不可重放。
详细版
可复现训练不是只保存一个 random seed，而是让代码、配置、原始分片、标签、特征转换和运行环境形成不可变快照。数据版本应由内容清单与校验和标识；latest 或日期目录无法证明历史训练究竟读到了什么。
排查时从原始数据哈希逐层对账到特征统计和模型产物。大数据不必复制整份，可用对象存储不可变分片、表快照或 time travel；删除历史数据前还要同时满足保留政策和模型审计要求。
完整版教学
一、问题本质与使用动机
可复现训练要求回答“当时到底用什么生成了这个模型”，因此复现单位是完整运行谱系，而不是单独的权重文件或 seed。
数据版本不是日期字符串，而是不可变内容清单。manifest 应记录分片 URI、校验和、行数、schema、时间范围与生成作业；表快照也要绑定事务版本。
小数据可保存完整快照，大数据用对象存储不可变分区加 manifest；特征表用 time travel 或 commit ID。选择取决于存储成本和保留政策。
二、机制与数学表达
可以把一次运行的关键依赖组合成内容寻址标识：
run_id = hash(code_commit, data_manifest, config, image_digest)公式中的哈希与版本号必须来自真实产物；对于数据库数据，要保存可重放的事务快照 ID，而不是只记查询日期。
只固定 random seed 仍可能受 GPU 非确定算子和数据读取顺序影响；
三、带数字的推演
例如样本表有 1000 万行，按分片内容生成 manifest 哈希；新增 2 万行后得到新版本，旧 manifest 仍能定位原分片。
复现实验要逐层比较数据哈希、特征统计、样本 ID 集、依赖锁文件和硬件非确定性；只比较最终指标无法定位差异从哪里产生。
四、从数据到上线的执行流程
一条可落地的复现链路是：
训练请求 → 冻结 Manifest → 记录代码/配置/镜像 → 产物绑定版本 → 独立环境重放原始数据尽量不可变，特征产物带 schema 和时间边界，训练运行记录 commit、镜像 digest、参数与指标，模型产物登记 lineage。
训练元数据应由调度器自动采集，模型注册表反向链接数据与代码。删除原始数据前还要核对适用的保留政策与历史模型审计需求。
五、方案对比与选择边界
| 对象 | 不可变标识 | 复现时核验 |
|---|---|---|
| 数据分片 | URI + checksum | 内容是否一致 |
| 表数据 | snapshot/commit ID | 事务视图是否一致 |
| 运行环境 | 镜像 digest | 依赖与算子版本 |
三类标识共同组成可复现证据，缺少任一层都会留下不可解释变量。
六、随机种子为什么仍不够
固定 Python、NumPy 和训练框架的 seed，只控制使用这些随机数生成器的部分路径。GPU 原子操作、并行归约、cuDNN 算法选择、DataLoader worker 顺序和分布式通信都可能产生非确定性；同一依赖版本换硬件也可能出现末位差异。
因此要区分两种目标：严格复现要求相同输入得到尽量逐位一致的产物，可能要关闭高性能非确定算子；统计复现要求多次运行的指标分布与结论一致，更适合很多大规模训练。项目应声明采用哪种口径，而不是只写“已设 seed”。
七、怎样逐层定位复现失败
先比较样本 ID 集、标签分布和分片校验和，再比较特征 schema、缺失率与数值摘要，之后核对代码、配置、镜像和硬件，最后才比较权重与指标。若数据哈希不同，继续调随机种子没有意义；若数据一致但首个训练 step 的 loss 已不同，应检查初始化、批顺序和算子。
模型注册表应从模型反向链接 run manifest，记录训练/验证划分和评测代码版本。对一次候选发布，在隔离环境重放小规模确定性样本；若无法完整保存受隐私约束的数据，则至少保存可审计的快照引用、生成逻辑和访问条件，并明确未来可能无法逐样本重放。
可复现的最小单位不是一个模型文件，而是数据快照、代码、配置、依赖和随机性的完整运行清单。
八、常见误区与追问
- 误区：固定随机种子就能完全复现。 还受数据顺序、非确定算子、依赖和硬件影响，应声明严格或统计复现目标。
- 误区：文件路径带日期就是数据版本。 路径可被覆盖，必须绑定不可变快照或内容校验和。
- 误区：只保存模型权重就够了。 没有代码、特征、配置与评测版本，无法解释模型如何产生。
- 追问：大表不能复制多份怎么办？ 使用事务快照、time travel 或不可变分片 manifest，而非复制整表。
- 追问：怎样确认两次训练读到同一数据？ 比较 snapshot/manifest、分片 checksum、schema、行数与样本 ID 摘要。
- 追问：隐私删除与复现冲突怎么办？ 合规删除优先；保留经批准的谱系与统计，并明确历史模型不可完整重放的边界。
九、加强记忆
复现链条要能从模型反查到配置、代码提交、数据 Manifest 和每个分片校验和；其中任一项可变，历史结果就不可证明。Seed 只控制部分随机性，环境、算子和数据顺序也必须版本化。