大模型应用上线前如何做评测、回归和灰度发布？
简化版
上线前要建立固定评测集和回归流程，覆盖高频任务、边界问题、安全问题、格式输出和成本延迟。发布时对 prompt、RAG、模型、工具和后处理都做版本管理，通过离线评测、影子流量、灰度发布和回滚机制降低风险。
详细版
- LLM 应用变更不只是代码变更，prompt、知识库、模型版本都可能改变行为。
- 评测集要包含真实用户问题、人工标注期望、拒答边界和难例。
- 自动评测可以提高效率，但关键场景仍需要人工抽检。
- 灰度发布要按租户、流量比例或用户群分层推进。
- 每次发布都要记录版本组合，方便复现线上问题。
完整版教学
记忆钩子：LLM 发布不是“改 prompt 立即上线”，而是“任何影响输出分布的变更都要回归”。
一、这题真正考什么
记忆钩子：LLM 发布不是“改 prompt 立即上线”，而是“任何影响输出分布的变更都要回归”。
面试官真正想看的是你有没有生产工程视角：能不能把模型能力、业务流程、用户体验、成本和风险放在同一张图里思考。回答时不要只停留在工具名，而要讲出边界、链路和验收方式。
二、核心原理和工程边界
传统软件回归主要看功能是否符合预期，LLM 应用还要看答案质量是否退化。因为模型输出具有随机性，评测通常采用多样本、多指标和人工审查组合。发布系统要把 prompt 版本、模型版本、检索索引版本和工具版本绑定成一次 release。
LLMOps 的难点在于模型行为不是传统函数调用，输入稍变、模型版本稍变、上下文稍变，都可能让输出分布变化。因此工程系统必须把“可变的模型行为”包进“可管理的发布、监控和回滚流程”。
三、带数字的工程算例
一次 prompt 改动让 JSON 合规率从 98% 提到 99%，但客服拒答率从 4% 升到 12%。如果只看格式指标会误判成功；完整发布门槛应同时检查任务成功率、拒答率、幻觉率、延迟和成本。
这个算例的作用不是追求精确到小数，而是帮助你在面试中建立量级感。只要能估出 token、并发、延迟、成本或错误率的数量级，你的回答就会从概念题变成工程题。
发布准入 = 核心任务达标 && 安全指标达标 && 成本延迟不超阈值
回归差异 = 新版本指标 - 基线版本指标
灰度风险 = 影响用户数 * 失败概率 * 失败严重度四、典型链路怎么跑
可以把这类问题拆成下面的链路来理解：
变更提交
|
绑定 prompt/model/index/tool 版本
|
离线评测
|
人工抽检高风险样本
|
影子流量
|
灰度发布
|
监控与回滚链路图的价值在于暴露责任边界：哪一步做权限，哪一步算成本，哪一步可重试，哪一步必须审计。面试时能画出链路，通常就能自然回答故障排查和系统设计追问。
五、方案对比和选择标准
| 阶段 | 目标 | 常见指标 |
|---|---|---|
| 离线评测 | 快速拦截退化 | 成功率、合规率、幻觉率 |
| 人工抽检 | 识别细微质量问题 | 专业性、风险等级 |
| 影子流量 | 验证真实分布 | 差异率、成本、延迟 |
| 灰度发布 | 控制影响范围 | 投诉率、错误率、回滚率 |
选择方案时要先说评估维度，再说取舍。LLMOps 面试很看重这种思维，因为真实系统没有银弹，只有在质量、成本、延迟、安全和维护成本之间做平衡。
六、上线后最容易出问题的地方
- 评测集长期不更新会被 prompt 过拟合，线上新问题仍然暴露风险。
- 只记录代码版本无法复现 LLM 行为，必须记录 prompt、模型和知识库版本。
- 只在少量 demo 上验证会低估风险，真实流量中的长尾输入、权限组合和外部依赖更复杂。
- 没有版本记录时，线上问题很难复现；prompt、模型、知识库、工具和配置都要纳入发布记录。
七、常见误区与追问
- 误区：prompt 改动不算发布。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 误区：用大模型当裁判就不需要人工评审。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 误区：离线评测通过就可以全量上线。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 追问：评测集如何防止过拟合？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
- 追问：如何做 prompt 版本回滚？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
- 追问：灰度期间应该监控哪些指标？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
八、加强记忆
把发布记成“版本绑定、离线回归、人工抽检、影子流量、灰度回滚”。LLM 应用的发布风险来自输出分布变化，所以任何影响输出的东西都要入版本。
复习 LLMOps 题时，可以固定用“目标、链路、预算、风险、观测、回滚”六步组织答案。这样既能回答原理，也能自然延伸到生产系统设计。