如何为大模型应用建立可靠的离线回归门禁？

简化版

离线回归门禁要比较完整 Release 的候选与当前基线，而不是只跑一个平均分。评测集包含真实高频、关键切片、历史事故、无答案和安全对抗样本；指标分为必须守住的红线、允许小幅波动的护栏和要优化的目标，并预先定义通过规则。

对确定性任务用 Schema、测试和精确标签，对开放输出用版本化量表、盲评和经人工金标校准的 Judge。模型输出有波动时做配对多次采样并报告置信区间，重点审查“基线通过、候选失败”的样本。门禁只决定能否进入灰度，完整 Shadow/Canary/回滚流程由发布流程负责。

详细版

每次 Run 固化 release_id、数据快照、采样配置、评测器版本和随机种子策略。先执行确定性红线，再执行质量与性能套件；按语言、长度、风险和任务切片，禁止总体提升掩盖关键切片退化。

candidate vs baseline on same sample
 -> deterministic validators
 -> task metrics and paired judge
 -> safety hard gates
 -> latency/cost replay
 -> regression triage -> pass / block / exception review

门槛应表达业务容忍度，例如“安全违规新增为 0；核心任务下降不超过 0.5 个百分点；P95 成本不升 10% 以上”。统计显著不等于业务重要，样本量不足也不等于可以宣布无退化。所有例外要绑定责任人、期限和准确 Manifest。

完整版教学

回归门禁的价值不是制造一个总分，而是阻止候选版本在已知重要能力上静默变差，并留下可复核证据。

一、先定义被测对象

LLM 行为由模型、Prompt、索引、工具、策略、解析器和推理参数共同决定。测试 Run 必须引用不可变 release_id，不能只写“测试模型 v2”。

基线也应冻结为确切 Release。候选评测期间若索引继续更新，配对差异就无法归因。

二、评测集怎样分层

一套集合至少包含代表性线上样本、业务关键场景、长尾边界、历史失败、无答案样本和安全/越权攻击。每条样本记录来源、用途授权、切片、严重度和期望验证方式。

开发集可频繁查看，门禁集限制访问，最终隐藏集用于防止长期 Prompt 过拟合。线上新失败先进入隔离候选池，去重和标注后再形成新快照。

三、确定性评测应优先

能用程序判断的任务不应先交给 LLM Judge。JSON 用 Schema，代码用测试，SQL 用只读执行和结果断言，引用用文档 Span 校验，权限用策略引擎。

确定性通过也不等于整体正确：JSON 合法不代表字段事实正确。应按语法、语义和业务规则分层记录结果。

四、开放答案如何使用量表

把“质量好”拆成正确性、覆盖、忠实、相关、风格等可判维度，并为每档提供锚点例子。评审隐藏候选身份与顺序，避免位置和品牌偏差。

若比较两个答案，配对判断通常比各自打绝对 1～10 分稳定。平局必须允许，否则 Judge 被迫制造差异。

五、LLM Judge 怎样校准

Judge 在人工金标集上测与专家的一致率、位置偏差、长度偏差和自偏好。更换 Judge 模型、Prompt 或采样参数就创建新版本，旧分数不能直接拼接。

检查	做法	失败含义
位置偏差	A/B 顺序交换	偏好展示位置
长度偏差	控制内容、改变冗长度	把长误当好
自偏好	隐藏模型来源	偏好同族输出
人工一致	专家金标对照	量表或 Judge 不可信

高风险差异保留人工复核，不能让同一个 Judge 既定规则又批准例外。

六、随机输出怎样公平比较

在同一输入上让基线与候选使用生产采样配置，并做配对比较；必要时每个版本采样多次估计方差。固定 Seed 可帮助调试，但跨实现不一定逐 token 可复现。

假设候选在 1,000 个配对样本中赢 420、输 360、平 220，净胜 60；还需计算置信区间并检查输掉的样本是否集中在高风险切片，不能只报 42% 胜率。

七、门禁指标怎样分角色

红线指标如越权工具成功、严重安全违规通常零容忍；护栏如关键任务成功率和 P99 允许预设小幅波动；目标指标如答案覆盖或成本期望改善。

pass = all(hard_gates)
    && all(guardrail_delta >= allowed_floor)
    && business_gain >= minimum_value

不能用成本改善抵消安全违规，也不能把几十个次要指标平均后覆盖核心任务退化。

八、为什么必须看切片

总体样本中简单英文问题很多时，中文长文本下降可能被平均值淹没。按任务、语言、输入长度、租户等级、风险和是否调用工具预先定义切片。

切片样本太少时报告不确定性并扩大数据，不得把“未显著”解释为“没有问题”。事后挖掘的新切片作为探索结论，加入下一轮预注册评测。

九、性能与成本如何纳入同一 Run

用固定硬件/供应商配置和真实长度分布回放，记录 TTFT、TPOT、端到端、Token、调用轮数、缓存策略和每成功任务成本。性能对比必须区分冷启动和稳态。

候选答案更长可能让质量分提高却把 P99 与成本推高。门禁根据业务 SLO 判断是否可接受，不用单个质量总分拍板。

十、回归样本怎样归因

优先查看 baseline=pass, candidate=fail 的样本，按检索、生成、工具、格式和安全分类。对每个失败保留输入引用、两版输出、验证证据与 Release 差异。

若候选修改了模型和索引两项，发现回归后很难归因；高风险改动应尽量单变量，或设计消融组合定位责任资产。

十一、例外放行如何治理

确需带已知回归灰度时，例外记录受影响切片、风险接受人、补救措施、到期时间和候选 Manifest Hash。到期自动失效，不能成为永久口头豁免。

安全红线和合规禁止项通常不可例外。门禁系统还要防止通过改标签、删样本或换 Judge 偷渡。

十二、如何验收评测系统本身

向候选故意注入格式破坏、引用错位、工具越权和延迟退化，确认对应门禁能拦截。重复运行基线，估计指标噪声与不稳定样本。

监控数据泄漏、评测器失败、缺失切片、Run 不可复现和隐藏集查看次数。若同一基线两次结果波动超过允许阈值，先修评测基础设施。

十三、常见误区与追问

• 误区：一个综合分提高即可通过。 核心切片和安全红线不能被平均掉。
• 误区：LLM Judge 可以完全替代人工。 Judge 需金标校准，高风险差异仍需专家复核。
• 误区：P 值不显著就证明两版相同。 可能是样本量不足，应报告置信区间与业务容忍度。
• 误区：评测集越固定越可靠。 还需持续加入经治理的新失败，同时保留隐藏门禁集。
• 误区：离线通过即可直接全量。 门禁只允许进入 Shadow/Canary，不能覆盖线上未知风险。
• 追问：先看哪些失败？ 先看候选新增失败和高严重度切片，再看平均变化。
• 追问：怎样防 Prompt 过拟合？ 分离开发/门禁/隐藏集，限制查看并使用时间外新样本。

十四、加强记忆

离线门禁记“冻 Release、分数据、先确定性、再 Judge、做配对、看切片”。红线、护栏和目标各司其职，候选新增失败优先归因；随机输出报告方差与置信区间，Judge 用人工金标校准。门禁通过只代表可以进入受控灰度，发布与回滚仍由完整 Release 流程负责。