预训练数据课程学习是否有用？
简化版
课程学习可能通过按难度、质量、长度或领域分阶段采样，提高早期稳定性和后期目标能力，但“从易到难”并非普适规律。大模型更常见的是平滑的数据退火：前期广覆盖，后期提高高质量、代码或数学比例，同时保留通用 replay。是否有效必须在相同 Token 和算力下与静态混合做消融。
详细版
课程策略包含样本排序、长度增长、质量调度和领域配比变化。潜在收益是降低训练早期梯度噪声、减少长序列成本，并让训练后段更聚焦高价值信号；风险是难度分数不可靠、分布切换造成 loss spike，以及后期窄数据引发遗忘和重复记忆。
设计时先定义可计算的课程轴，例如前 10% Token 从 2K 长度增长到 8K，或最后 20% Token 把高质量数学从 5% 平滑增到 15%。每次变化记录实际采样比例，以静态基线比较 validation loss、目标任务、通用回归、吞吐和每源重复次数，并用随机种子复验。
训练进度 0% -------- 60% -------- 100%
通用覆盖 高 ---------- 中等 -------- 保留底线
高质量/目标域 低 -------- 渐增 -------- 高完整版教学
一、课程学习到底调什么
传统课程学习按“易到难”排列样本，希望模型先学稳定结构再处理复杂模式。预训练中可调的不止难度，还包括序列长度、文本质量、语言、领域、重复度和噪声水平。任何随训练进度变化的采样分布，都可视为广义课程。
问题在于自然语言难度没有统一标尺。短文本不一定简单，公式长文也不一定对模型更有价值。因此面试回答应先说明课程轴与业务目标，不能只说“先简单后困难”。
二、它为什么可能帮助优化
训练初期参数随机，极长或噪声样本可能产生高方差梯度。先用较短、格式清晰的数据，可提高吞吐并让模型建立基本语言规律；随后增加长上下文和复杂推理，模型已有更好表示。这个机制主要改善优化路径，而非凭空增加信息。
若前 5% 训练把最大长度从 8K 降为 2K，注意力计算显著降低，可更快完成 warmup。但短序列阶段看不到长依赖，所以长度必须渐进提升并留足长序列 Token，否则最终能力会欠缺。
记忆钩子：课程学习改变的是“何时看什么”，不是“总共看什么”；公平实验必须固定总 Token 和最终数据集合。
三、Data Annealing 与经典课程的区别
大模型实践中常在训练后段提高高质量数据比例，称为 data annealing。它不一定按难度排序，而是利用后期更新更接近最终模型这一点，把有限高质量 Token 放在影响更大的阶段。与此同时保留通用数据，防止目标域过度主导。
| 调度 | 目标 | 主要风险 |
|---|---|---|
| 短到长 | 稳定与早期吞吐 | 长上下文训练不足 |
| 低噪到复杂 | 降低初期梯度方差 | “难度”误判 |
| 通用到领域 | 提高目标能力 | 通用遗忘 |
| 普通到高质量 | 提升最终效果 | 高质量小集重复 |
| 单语到多语 | 建立基础再扩展 | 语言迁移偏置 |
实际方案可组合，但变量太多会难以归因，最好一次只验证一个主要调度。
四、课程函数应当平滑
在某个 step 突然把数学数据从 5% 切到 30%，会让梯度分布跳变，表现为 loss 或梯度范数尖峰。可用线性、余弦或 sigmoid 在若干亿 Token 内过渡：
w_math(t) = 0.05 + (0.15 - 0.05) × ramp(t)
w_general(t) 同步归一化，但不低于安全底线调度器应按已消费有效 Token 而非 wall clock 工作，因为停机和吞吐变化不应改变课程。恢复 checkpoint 时也必须恢复课程状态，避免再次从初始比例开始。
五、难度和质量如何估计
难度可来自小模型 loss、文本长度、推理步骤、代码执行或人工标签；质量可来自规则和分类器。小模型高 loss 既可能表示困难且有价值，也可能只是乱码，因此需要把可学难度与噪声分开。分数还可能偏爱标准文风，伤害方言和低资源语言。
可抽样人工标注各分数区间，检查准确率与领域分布。课程排序不要完全确定化，可在每个难度桶内随机采样，避免相邻 batch 高度相关。保留原始分数与模型版本，确保数据版本可复现。
六、遗忘与重复如何控制
后期只喂目标域会改变模型分布，通用验证 loss 上升。可以设通用 replay 底线，例如任何阶段通用文本不少于 50%，并监控固定通用任务。高质量池体量小时，后期升权意味着多 epoch 曝光，应设每文档最大重复次数。
例如高质量数学只有 20B 唯一 Token，训练最后 100B Token 中占 30%，会消费 30B，平均至少 1.5 次。若升到 60%，平均 3 次，记忆风险明显增加。比例讨论必须同时给出数据池大小。
七、怎样做可信消融
静态基线与课程实验要固定模型、总 Token、数据全集、优化器和计算预算。至少比较最终 validation loss、分域任务、通用回归、训练稳定性和 Token/s，并多随机种子运行小规模代理实验。只展示目标任务提升而不披露其他能力，无法判断是否只是能力搬家。
还可做顺序反转：若“易到难”优于随机，而“难到易”更差，才支持顺序机制；若三者相近，收益可能来自不同阶段的计算长度而非课程本身。最终规模上线前，确认代理模型趋势能否外推。
八、常见误区与追问
- 误区：课程学习一定要从短文本到长文本。 课程轴取决于目标，也可以调质量、领域或噪声。
- 误区：高 loss 样本就是高难度好样本。 它也可能是乱码、错语言或解析失败。
- 误区：后期只用高质量数据一定提升。 可能造成重复记忆和通用能力遗忘。
- 追问：课程按 step 还是 Token 调度？ 跨并行规模时按有效 Token 更稳定、可复现。
- 追问：如何证明不是数据配比本身带来的？ 固定总暴露量，仅改变顺序，并加入静态和反向顺序对照。
- 追问：何时不值得使用？ 静态混合已经稳定、收益小于调度复杂度，或难度信号噪声很大时。
九、加强记忆
课程学习可记成“轴、序、滑、保、验”：先明确按长度、质量还是领域这条轴调度；改变顺序而非偷换总数据；比例平滑过渡；保留通用 replay 并限制重复；用相同 Token 的静态与反向基线验证。它是一项可实验的优化策略，不是“先易后难必然更好”的定律。