大模型的预训练数据是怎么处理的？为什么去重和质量过滤这么重要？

简化版

预训练数据治理是一条可追溯流水线：从授权采集与解析开始，依次做语言/格式识别、质量与风险过滤、精确和近似去重、数据配比、评测污染检查，最后 Tokenize、Packing 并版本化。质量和数量不能简单二选一；目标是在固定计算预算下提高有效、多样且合规的 Token 比例，同时避免过滤器把低资源语言和专业内容误删。

详细版

预训练数据处理流水线

采集：按许可与用途获取网页、代码、百科、论文和自有数据，并保留来源与时间血缘。
质量过滤：
- 规则过滤：去乱码、去过短/过长、去符号占比异常、语言识别筛选。
- 模型过滤：用分类器/困惑度打分，保留「像高质量文本」的样本（如用维基风格做正例）。
去重（去重是重中之重）：
- 精确去重：完全相同的文档/段落删掉。
- 近似去重：用 MinHash/SimHash + LSH 找近似重复并删除。
数据配比（mixture）：决定各来源占比与采样权重，并受唯一 Token、重复曝光和目标能力约束。
去污染（decontamination）：删除与测试/评测基准重合的样本，防止「刷分作弊」。
隐私、许可与安全：检测并隔离不应训练的敏感或无权使用内容，记录策略与残余风险。
Tokenize + 打包：分词、拼接成定长序列供训练。

为什么这些环节关键

去重：重复数据会被模型死记硬背（增加逐字记忆、隐私泄漏风险），且浪费算力（反复学同样内容），还会扭曲数据分布。研究表明去重能显著提升效果、降低记忆。
质量过滤：降低解析噪声与低信息重复，但过强会损害多样性和长尾覆盖。
配比：不同来源改变梯度权重，能力影响必须用等 Token 消融验证，不能按来源名称直接推断。
去污染：不做的话评测分数虚高，等于自欺欺人。

完整版教学

一、数据治理到底优化什么

模型、优化器和计算预算相同时，数据决定训练目标覆盖了哪些语言、知识、风格与风险模式。重复、解析失败和错误内容会浪费 Token，过度清洗则会缩窄分布；因此目标不是追求一个抽象“干净率”，而是提高有效信息、代表性、合法性和可审计性。

质量数据可以提高数据效率，但不能推出“小模型必然达到任意大模型水平”，规模与数据量仍共同影响能力。可信结论来自同模型、同计算预算下的数据消融，而不是引用某个模型系列做普遍因果判断。

二、质量过滤：从海量噪声里淘金

原始网页常混有广告、导航栏、乱码、SEO 内容和重复模板。质量过滤分两层：

启发式规则：过滤过短/过长文档、符号或数字占比异常、停用词比例异常、语言检测（只留目标语言）、去 HTML 残留等。快速砍掉明显的垃圾。
基于模型的过滤：训一个轻量分类器区分「高质量 vs 低质量」（常用维基/书籍作正例、随机网页作负例），或用一个语言模型的困惑度打分——太高（乱码）或异常的都过滤。保留「读起来像人写的、有信息量的」文本。

过滤要有度：过滤太狠会损失多样性（把小众但有价值的内容也删了），过滤太松则留太多噪声，需要平衡。

三、去重：被低估但极其关键的一步

去重常被外行忽视，却是数据工程的重中之重，原因有三：

抑制死记硬背与隐私泄漏：如果某段文本（比如某人的地址、某段代码）在数据里出现很多次，模型会逐字背下来，推理时可能原样吐出，既是隐私风险也是版权风险。去重显著降低这种记忆。
节省算力：反复学同样的内容是浪费——本可以用这份算力学新东西。去重后同等算力见到的有效信息更多。
修正分布偏差：热门内容天然被大量转载复制，不去重会让模型过度偏向这些重复内容，扭曲学到的分布。

技术上分两级：精确去重（哈希比对删完全相同）和近似去重（用 MinHash/SimHash 生成文档指纹 + LSH 局部敏感哈希快速找「高度相似」的文档删掉）。近似去重能抓住「改几个字的洗稿」，是效果关键。

记忆钩子：去重同时解决三件事——少背隐私、省算力、正分布。别把它当可有可无的清洗步骤。

四、数据配比：不同”食材”炼不同能力

预训练数据是多来源的「混合饲料」，配比（各来源占比 + 采样权重）是一门手艺：

来源	主要培养的能力
网页（CommonCrawl）	广度、常识、多样性
代码	编程、形式结构，可能迁移到部分推理任务
书籍	长程连贯、叙事、深度知识
论文（arXiv）	专业知识、科学推理
百科/问答	事实准确性

要点：

高价值桶可上采样：但先核对许可、质量、唯一 Token 和重复次数，不能把“书籍/论文/代码”天然视为高质量。
代码可能带来迁移：它首先提升代码能力，对其他推理任务的收益依模型与数据组合而变，应以消融验证。
配比要实验：最优配比没有万能公式，靠小规模消融实验确定，是各家的核心 know-how。

五、去污染：别让模型”考前看答案”

评测大模型要用 MMLU、GSM8K 等基准。如果这些基准的题目和答案混进了训练数据，模型就是「考前背过答案」，评测分数虚高、毫无意义，这叫数据污染（data contamination）。

因此应在训练前扫描评测题、答案、代码测试和近似变体，隔离确认污染的文档簇，并在训练截止时间之后构建私有/动态评测。检测不可能证明绝对无污染，报告还应披露阈值、命中率与剔除后的分数。

六、常见误区与追问

误区：数据量和质量只能二选一。 在固定计算下要优化有效 Token，但多样性和规模仍重要，过度过滤同样会退化。
误区：去重只是省点空间。 它抑制死记硬背、降隐私风险、省算力、正分布，是核心步骤。
追问：为什么加入代码数据？ 首先覆盖代码任务，并可能通过形式结构产生迁移；是否改善非代码推理要做等预算消融。
追问：近似去重怎么做？ MinHash/SimHash 生成指纹 + LSH 快速找近似重复，删掉洗稿式重复。
追问：高价值数据为什么不能无限上采样？ 唯一 Token 有限，重复曝光会增加记忆和过拟合，并挤压其他分布。
追问：什么是数据污染，怎么办？ 训练数据混入评测集导致刷分作弊；训练前做去污染（匹配删除重合样本）。
追问：合成数据能否补充人类数据？ 可以扩覆盖和生成可验证练习，但必须控制教师错误、模式单一、重复与自举偏差，并与真实数据共同评测。

七、用数据消融证明清洗规则有价值

raw baseline
  + quality filter -> 比较有效 token 与验证 loss
  + dedup          -> 比较记忆率与训练效率
  + decontam       -> 比较公开集和私有集差距

每次只改变一个数据处理环节，并保持模型、token 预算和训练配置一致。除了平均验证 loss，还要看分域能力、重复记忆、隐私样本和评测污染；过滤量大不代表质量高，真正证据是相同计算预算下模型更好。

八、加强记忆

把预训练数据治理串成“合法采集 → 健康解析 → 质量/风险过滤 → 精确与近似去重 → 可控配比 → 污染隔离 → Tokenize/Packing → 版本审计”。去重纠正无意重复权重，配比决定各域梯度贡献，污染检查保护评测可信度；三者都要按语言、领域和长尾切片。不要背“质量压倒数量”或“某来源天然提升某能力”，真正红线是同计算预算的数据消融、完整血缘、许可与隐私治理，以及发现误杀后能够回滚。

简化版

详细版