大模型预训练的目标是什么？为什么是「预测下一个 token」？

简化版

GPT/Llama 类模型通常用自回归语言建模：给定左侧 Token，预测下一个 Token，并最小化交叉熵。它能从原始序列构造密集自监督信号，因果分解也直接支持逐 Token 生成；但学到哪些事实和推理模式仍取决于数据、容量与优化，Next-token 目标本身不保证理解、真实性或安全。BERT 的 MLM 和 T5/BART 的去噪目标采用不同可见上下文与生成结构。

详细版

自回归语言建模的数学形式

把一段文本 x = (x₁, x₂, …, x_n) 的联合概率按链式法则分解：

P(x) = ∏_{i=1}^{n} P(x_i | x₁, x₂, …, x_{i-1})

模型学的就是每个条件概率 P(x_i | 前文)。训练损失是下一个 token 的交叉熵（等价于负对数似然）：

L = − Σ_i  log P(x_i | x_{<i})

配合因果掩码，一次前向就能并行算出所有位置的预测和损失。

三大类预训练目标对比

目标	机制	代表	擅长
自回归（下一个 token）	预测下一个词，单向	GPT、Llama	生成、通用
掩码语言建模 MLM	遮住部分词双向还原	BERT	理解、判别
去噪 / Span 填空	遮连续片段再还原	T5、BART	序列转换

为什么生成式大模型常选下一个 Token 预测

信号密集：除边界和被 mask 的位置外，序列中多数 Token 都能提供目标；MLM 常只在采样的遮盖位置计损失，但它可利用双向上下文，两者不能只凭目标比例判断数据效率。
无需标注：直接拿海量原始文本自监督，天然可规模化。
统一接口：同一条件概率模型可表达续写、问答和代码等多种文本任务；是否形成相应能力取决于训练分布。
与生成因果结构一致：训练和推理使用相同的左到右条件分解，但训练有 teacher forcing，推理使用模型自己生成的历史，仍存在暴露偏差。

完整版教学

一、预训练到底在学什么

预训练是在大规模文本上做自监督学习，使模型拟合语言统计、事实关联、代码结构和数据中出现的推理轨迹。它通常不针对单一产品任务，产出的是续写能力较强的基座模型；具体知识覆盖、真实性和可用推理能力仍需独立评估，再通过后训练塑造交互行为。

“自监督”表示目标 Token 由序列本身产生，不需要为每个位置人工打标签。它降低了监督构造成本，却没有消除数据采集、许可、质量、隐私和污染治理；数据规模只是能力来源之一。

二、为什么简单目标能学到丰富模式

下一个 Token 的最佳预测依赖不同层次的上下文，因此优化这一目标会奖励模型编码多种规律：

语法结构：主谓宾搭配、时态一致，否则预测不准。
世界知识：「法国的首都是___」要填对，必须记住事实。
文本中的推理模式：「3 个苹果加 5 个苹果是___」等样本会奖励算术相关表示，但正确续写不等于模型在所有分布上掌握稳健算法。
上下文追踪：代词指代谁、前文定义的变量，都要跟踪。

信息论上，更好的概率预测可对应更短的期望编码长度，因此语言建模与压缩存在联系。这个视角能解释模型为何需要捕捉可预测结构，但“能压缩”不等同于已经获得人类式理解，更不能推出它会学会数据中没有充分支持的所有能力。

记忆钩子：Next-token loss 会奖励一切有助于预测的结构，但“预测得好”与“事实可靠、可解释、会规划”不是同一个验收目标。

三、和 MLM、去噪目标的本质区别

MLM（BERT）：经典做法随机选择约 15% 的位置构造遮盖任务，用双向上下文还原。它很适合学习编码表示，但标准 Encoder 没有自回归解码结构，不能直接按 GPT 的方式开放式生成；这是架构与目标共同造成的，不宜概括成“理解充分、天生不会生成”。

去噪 / Span 填空（T5/BART）：破坏输入并让 Encoder–Decoder 重建文本，适合条件生成与序列转换。它与 decoder-only 自回归各有计算和任务接口取舍，不能无条件断言通用生成或 few-shot 一定更差。

自回归（GPT 类）：多数有效位置预测下一个 Token，decoder-only 结构易扩展为统一生成接口。它与推理采用相同条件分解，但 teacher forcing 与自由生成历史仍不同。三者没有绝对优劣；自回归尤其契合“训练一个可直接续写的通用生成器”这一路线。

四、训练流程：一次前向算出全部损失

自回归训练非常高效，得益于因果掩码带来的并行：

取一段文本，tokenize 成 (x₁…x_n)；
输入模型，配合因果掩码（每个位置只能看左侧），一次前向并行算出所有位置对「下一个词」的预测分布；
每个位置 i 的预测和真实的 x_{i+1} 算交叉熵，全序列求和/平均得到 loss；
反向传播更新参数。

关键点：「预测下一个词」在训练时是并行的（不是真的一个个生成），因果掩码保证位置 i 看不到答案 x_{i+1} 及以后，避免信息泄漏。这让它既有密集监督，又能高效并行——鱼与熊掌兼得。

五、评估预训练好坏：困惑度

预训练模型常用困惑度（Perplexity, PPL） 衡量：

PPL = exp(平均交叉熵损失)

直觉是「模型对下一个词平均有多少种等概率的候选在犹豫」——PPL 越低，预测越确定、语言建模越好。它不需要标注，直接反映预训练目标的完成度。但要注意：PPL 低不代表下游任务一定强，最终还要看实际任务表现，PPL 只是预训练阶段的过程指标。

六、手算三个位置的交叉熵

序列为 A、B、C、D 时，输入 A/B/C 分别预测 B/C/D，单次前向可并行得到三个监督位置。若正确 token 的预测概率依次为 0.5、0.25、0.8，平均负对数似然约为 [-ln0.5-ln0.25-ln0.8]/3≈0.768，困惑度约为 exp(0.768)=2.16。

input:   A  B  C
target:  B  C  D
P(true): .5 .25 .8
loss = (-ln.5 - ln.25 - ln.8) / 3 ≈ 0.768
ppl  = exp(loss) ≈ 2.16

目标	可见上下文	典型模型
Next-token	左侧 token	GPT 类生成模型
MLM	双向上下文	BERT 类编码器
去噪重建	被破坏输入	T5/BART 类模型

Next-token prediction 的监督来自文本右移，不需要人工逐条标注，却迫使模型压缩语法、事实和上下文规律。低 PPL 只说明对评测分布预测更好，不自动等于推理、安全或指令遵循更强，仍需下游评测。

七、常见误区与追问

误区：预训练需要标注数据。 不需要，标签是「下一个词」本身，纯自监督。
误区：MLM 比自回归先进。 各有所长；生成式大模型选自回归，因信号密集、任务统一、契合生成。
追问：自回归为何有密集监督？ 一次移位后多数位置都有目标；但和 MLM 的效率比较还要看架构、计算与表示用途。
追问：Next-token 目标会自动保证推理吗？ 不会；它会学习数据中有助预测的推理模式，稳健算法能力仍受覆盖、规模和训练方式限制。
追问：训练时是逐词生成吗？ 不是，训练时用因果掩码一次并行算完所有位置，只有推理才逐词生成。
追问：困惑度是什么？ 交叉熵的指数，衡量语言建模好坏，越低越好，但不完全等同下游能力。

八、加强记忆

把预训练目标串成“链式分解—因果 Mask—交叉熵—Teacher Forcing”：P(x)=∏P(x_i|x_<i)，训练时一次前向并行计算多数位置，推理时再逐步采样。它的优势是自监督信号密集、接口统一且直接支持生成；边界是训练历史来自真值、推理历史来自模型自身，而且低 PPL 不保证事实、推理或安全。MLM 使用双向遮盖表示，去噪模型重建被破坏输入；比较它们要同时看目标、架构和任务，而不是用“理解/生成”两个标签一刀切。

简化版

详细版