什么是大模型对齐（Alignment）？预训练完为什么还要对齐？

简化版

对齐（Alignment） 是让模型与整个应用系统的行为尽量符合明确的人类意图、产品规范和安全边界。Helpful、Honest、Harmless（3H）是常用框架，但不是完备或唯一的价值定义。预训练目标是下一个 token 预测，base 模型可能已能通过上下文完成问答，却没有被稳定训练为遵循特定助手规范。SFT、偏好优化、规则评测以及权限/工具网关共同把这种通用生成能力约束成可用行为；“模型变礼貌”只是表面结果。

详细版

base 模型的问题

预训练只优化「预测下一个词」，产出的 base 模型有三类不对齐：

指令遵循不稳定：它可能回答，也可能延续输入格式；预训练语料里已有问答和指令，因此不能说 base 模型完全不会遵循。
不诚实：会自信地编造事实（幻觉），不会说「我不知道」。
可能有害：会输出危险、偏见、违法内容，因为语料里什么都有。

对齐的目标：3H

维度	含义
Helpful	理解并尽力完成用户真实意图
Honest	说真话、承认不确定、不编造
Harmless	拒绝有害请求、不产出危险/偏见内容

三者常有张力（越无害可能越不有用，见「对齐税」「过度拒绝」）。

对齐的主要手段

指令微调（SFT）：用「指令→高质量回答」的示范数据微调，让模型学会遵循指令、以助手口吻回答。
RLHF（人类反馈强化学习）：用人类偏好训练奖励模型，再用强化学习优化模型输出，让它更贴合人类喜好。
替代方案：DPO（直接偏好优化）、Constitutional AI / RLAIF（用 AI 反馈）等。

完整版教学

一、为什么”会预测下一个词”不等于”会当助手”

预训练让模型学习大规模语料的条件分布，其典型目标是最大化下一个 token 的似然。训练语料本身包含问答、代码和对话，所以 base 模型可能表现出指令能力；问题在于目标没有明确区分真实与虚构、授权与越权、好答案与仅仅常见的文本。

例如同一句“请问北京到上海怎么走？”，在问答网页里下一段可能是答案，在问题清单里也可能是另一个问题。base 模型会受提示格式和上下文分布影响，未必稳定采用产品想要的助手角色。这里不能据单次续写断言模型“完全不理解”，准确说法是：预训练似然目标没有直接保证任务完成、事实校准与安全边界。

后训练和系统治理要缩小这个鸿沟：在保留生成模型的概率建模基础上，增加示范、偏好、验证和执行约束，使可观察行为更接近明确规范。

二、对齐要达成的三个标准：3H

3H 是讨论助手行为时常用的一组维度：

Helpful（有用）：准确理解用户意图（哪怕表述不清），尽力提供有价值的帮助。这是助手存在的意义。
Honest（诚实）：输出真实信息，不知道就说不知道，不编造、不误导，校准自己的确定性。对抗「幻觉」。
Harmless（无害）：不协助危险/违法行为，不输出仇恨、偏见、隐私泄漏等有害内容。

关键认知是三者存在内在张力：一个只会说「这个我不能回答」的模型很无害，但毫无用处；一个有求必应的模型很有用，但可能被滥用作恶。对齐的艺术就在于在 3H 之间取得平衡，这也引出了后面的「对齐税」和「过度拒绝」问题。

三、对齐的两步走：先 SFT，再 RLHF

主流对齐流程分两大步，循序渐进：

第一步：指令微调（SFT）——先学会”听话”。 用人工编写或精选的「指令 + 优质回答」示范数据微调 base 模型。这一步让模型学会：识别「这是一条指令」、以助手身份组织回答、遵循格式。SFT 后模型就从「续写机」变成了「基本能对话的助手」，但回答质量参差、边界不稳。

第二步：偏好优化——学习候选间的相对取舍。 单目标 SFT 直接提供的是“生成这个答案”的信号，而偏好对能显式表示同一上下文中 A 优于 B。经典 RLHF 先训练奖励模型再在线优化，DPO 则直接优化偏好对；两者都只近似采集人群和标注规范，不能自动保证诚实或安全。

记忆钩子：SFT 给示范，偏好数据给相对取舍；权限与验证器守住训练信号无法保证的硬边界。

四、为什么光有 SFT 不够，还要 RLHF

SFT 的本质是「模仿学习」——照着标准答案学。它有两个天花板：

单目标示范不显式表达候选比较：SFT 能从正反示范、解释文本等学习很多边界，但普通交叉熵样本不直接给出“同一提示下 A 胜 B”的排序目标。
难以覆盖长尾和边界：该拒绝哪些请求、如何礼貌拒绝、如何处理模糊意图，靠穷举示范数据不现实。

偏好训练通过比较模型候选引入相对信号，能补充 SFT 的监督形式。但真实系统采用何种未公开管线不能一概而论；更重要的是偏好数据、评测和运行时控制是否形成闭环，而不是是否挂着某个算法名称。

五、对齐不是”能力提升”而是”行为塑造”

对齐后训练首先改变输出策略和行为倾向，但也可能改善或损害可测任务能力。SFT、可验证奖励 RL 和工具训练都可能提升特定推理或执行表现，因此不能把“能力来自预训练、对齐只改口吻”说成绝对边界。

有时对齐甚至会轻微损害某些原始能力（这叫「对齐税」，alignment tax），比如 RLHF 后某些基准分数略降、回答变得啰嗦或过度谨慎。所以对齐要拿捏分寸：既要塑造好行为，又要尽量不折损底层能力。理解「对齐是行为塑造、可能有代价」，是这道题的深度所在。

六、把抽象价值拆成可测行为

假设客服模型面对 100 条请求：40 条正常咨询、20 条信息不足、20 条涉及隐私、20 条明显欺诈。合理行为不是统一“回答”或“拒绝”，而应分别直接回答、先澄清、提供脱敏帮助、拒绝并给安全替代。对齐的目标是让模型在不同边界采取合适动作，而不是简单提高服从率。

请求类型	期望动作	关键指标
正常且明确	正确完成	任务成功率
信息不足	说明不确定并澄清	澄清率、幻觉率
高风险但可帮助	限制细节并提供安全信息	受限帮助质量
明确有害	拒绝且不泄露方法	漏拒率

请求 -> 风险识别 -> 回答 / 澄清 / 受限帮助 / 拒绝
                    -> 行为评测 -> 线上反馈回流

因此对齐必须由数据、训练、系统权限和评测共同承担。模型输出看似礼貌并不等于诚实或安全；只有用覆盖边界的行为集、人工规则和线上事件回流，才能判断它是否真正符合预期。

七、常见误区与追问

误区：预训练完模型就能稳定充当产品助手。 Base 模型可能会问答，但预训练目标不保证角色、事实校准、安全与权限边界。
误区：对齐只改口吻或必然提升能力。 后训练会改变行为分布，也可能提升特定能力或造成回退，必须逐项评测。
追问：3H 指什么？ Helpful、Honest、Harmless，三者常有张力需平衡。
追问：为什么 SFT 之后还要 RLHF？ SFT 只能模仿正例、表达不了相对偏好和细腻边界；RLHF 用偏好比较优化 SFT 覆盖不到的维度。
追问：base 模型为什么指令遵循不稳定？ 预训练似然覆盖多种文本延续，未直接把产品定义的任务完成与安全规范设为唯一目标。
追问：对齐有哪些主流方法？ SFT + RLHF（PPO），以及 DPO、Constitutional AI/RLAIF 等替代。

八、加强记忆

对齐记「把概率生成能力约束成符合规范的系统行为」：预训练下一个 token 目标能产生问答能力，却不保证稳定指令遵循、事实校准或安全权限。3H 是有用、诚实、无害三个常用维度，彼此存在冲突。SFT 提供目标示范，RLHF/DPO 等偏好方法提供相对取舍，评测、检索、权限网关与工具沙箱承担确定性边界。对齐既可能改善特定能力，也可能造成回退；最终只认分场景行为证据，不认“用了某种算法所以已对齐”。

简化版

详细版