量化模型应该如何评估？为什么只看困惑度不够？
简化版
量化评估要同时看通用指标、目标任务、长上下文、格式稳定性、人工偏好和线上延迟成本。困惑度能反映语言建模损失，但不能完整代表问答、代码、工具调用、安全边界和业务体验。
详细版
- PPL 适合快速发现严重退化，但和真实任务质量不完全一致。
- 要比较 FP16 基线、不同量化位宽和不同运行时配置。
- 评测集应覆盖业务高频输入、长尾难例和安全拒答。
- 量化可能改变格式遵循、数值推理和长上下文能力。
- 上线后还要监控延迟、显存、吞吐、错误类型和用户反馈。
完整版教学
记忆钩子：量化评估要同时记“能力账”和“系统账”；PPL 只是能力账里最便宜的一张体检单，不能代表业务任务，也不能证明部署收益。
一、先定义评估问题而不是先跑榜单
量化评估要回答两个独立问题：相对同版本高精度基线，模型行为损失多少；低比特实现又带来多少容量、延迟或成本收益。业务目标决定测试权重，例如工具平台更关心可执行成功率，长文产品更关心证据覆盖与位置鲁棒性。只有先写明质量门槛和优化目标，才不会看到结果后临时选择有利指标。
二、核心机制怎么工作
量化是质量、成本和速度的交易。PPL 只衡量下一个 token 概率的平均变化，无法告诉你模型是否正确调用工具、是否漏掉表格字段、是否在医学问题上过度自信。因此评估要分层：离线基准、业务集、人工审查和线上 A/B。
评估应包含层级重构误差、通用能力、业务任务和压力切片，并与同版本 FP16/BF16 基线逐项配对。性能测试固定硬件、batch、输入输出长度和并发，分别报告 TTFT、TPOT、吞吐、峰值显存与功耗。
三、带数字的拆解
某 4bit 模型 PPL 只比 FP16 差 3%，但在 200 条 JSON 输出任务中格式错误从 2 条升到 18 条。对于结构化业务，这种模型可能不能上线，哪怕 PPL 看起来很好。
相对退化 = (量化指标 - FP16 指标) / FP16 指标
上线价值 = 成本下降 + 延迟下降 - 质量损失 - 运维复杂度
验收集 = 通用能力 + 业务高频 + 边界安全 + 长上下文四、怎样建立可归因的配对实验
高精度与量化模型必须使用同一基座、Tokenizer、聊天模板、Prompt、采样设置和运行时语义，仅改变量化产物与必要 kernel。确定性任务逐样本配对，随机生成任务固定多个 Seed 或比较输出分布；记录新增失败，而不只是两个聚合均值。评测集按语言、任务、长度和风险分层，并与校准/调参数据隔离。
建立 FP16 基线
|
运行 PPL 和公开 benchmark
|
跑业务评测集
|
人工错误分析
|
压测延迟和吞吐
|
灰度上线监控五、不同评估层各自能回答什么
| 指标 | 能看什么 | 看不到什么 |
|---|---|---|
| PPL | 语言建模退化 | 任务是否完成 |
| Benchmark | 通用能力 | 业务特殊格式 |
| 人工评审 | 可用性和风险 | 规模有限 |
| 线上 A/B | 真实体验 | 需要流量和回滚机制 |
张量 MSE、层输出余弦或 Logit KL 适合定位异常层，却不能替代任务指标；公开 Benchmark 能做通用报警，却可能缺少业务格式与风险边界。业务 Golden Set 和真实执行器最接近上线目标，人工评审用于事实性、表达和未预见错误。各层是递进证据，不应拿其中任何一个单项宣布“无损”。
六、为什么必须按切片看统计结果
总体正确率可被高频简单题支配，稀有语言、安全拒答或代码切片即使下降 10 个百分点，整体也可能只动 0.2%。对关键切片设置绝对门槛，报告样本量、置信区间和配对差异；安全严重事件还需按绝对次数审查，不能由其他任务提升抵消。长上下文要按长度和证据位置画曲线，而不是只测一个最大长度。
七、性能与质量怎样合成决策
性能测试必须加载最终导出产物，在目标硬件按真实输入/输出长度、batch 和并发记录 TTFT、TPOT、吞吐、峰值显存、功耗和单位成功请求成本。把通过质量红线的候选画成质量—延迟—显存 Pareto 前沿，被另一方案全面支配的点可直接淘汰。若更低位宽让错误率上升并触发更多重试，单 Token 成本降低也可能不等于成功请求成本降低。
八、常见误区与追问
- 误区：PPL 下降很小就一定可以上线。 困惑度是平均 token 预测指标，对结构化输出、事实性和安全边界不够敏感。
- 误区：公开 benchmark 高就代表业务好。 Benchmark 的语言、长度和任务构成可能与线上不同，必须加入真实流量回放与高风险用例。
- 误区：量化评估只需要离线跑一次。 运行时、kernel 和流量分布升级都会改变效果，发布前回归与上线监控都不可少。
- 追问：如何设计量化模型的回归测试集？ 覆盖高频任务、历史事故、长上下文、结构化输出和安全边界，并为每类设置相对 FP16 的最大允许退化。
- 追问：为什么格式遵循会被量化影响？ 小的 logit 扰动可能在括号、引号或字段名位置改变 argmax，随后自回归误差继续放大。
- 追问：上线后应该监控哪些质量信号？ 监控解析失败、重试、拒答、工具成功率、人工差评和模型回退率，并按模型版本及请求类型切片。
九、加强记忆
用“基线—分层—切片—系统—决策”来记：先锁定同版本高精度基线，再从张量诊断走到通用、业务和人工评估；平均分之外给关键切片独立红线；最终低比特产物必须在目标硬件记完整性能账。PPL 可以快速报警，却看不见工具、格式、安全与长链任务；只有能力达标且位于系统 Pareto 前沿，量化方案才有上线价值。