LLMOps 可观测性应该记录哪些指标、日志和 Trace？
简化版
LLMOps 可观测性要覆盖技术稳定性、成本、质量和安全四类信号。常见记录包括请求链路 trace、模型名和版本、prompt 版本、token 数、延迟、错误、检索命中文档、工具调用、输出校验结果、用户反馈和安全拦截。
详细版
- 指标看趋势，例如 QPS、错误率、首 token 延迟、总延迟、token 成本。
- 日志看样本细节，例如 prompt 版本、检索结果、工具参数和模型输出。
- Trace 串起入口、RAG、工具、模型、后处理，便于定位慢在哪里。
- 质量信号包括格式合规率、引用命中率、人工反馈和离线评测结果。
- 日志要脱敏和分级保存，不能把敏感 prompt 随便落盘。
完整版教学
易错点：传统 APM 只能告诉你慢不慢，LLMOps 还要告诉你答得对不对、为什么这么答、花了多少钱。
一、这题真正考什么
易错点：传统 APM 只能告诉你慢不慢，LLMOps 还要告诉你答得对不对、为什么这么答、花了多少钱。
面试官真正想看的是你有没有生产工程视角：能不能把模型能力、业务流程、用户体验、成本和风险放在同一张图里思考。回答时不要只停留在工具名，而要讲出边界、链路和验收方式。
二、核心原理和工程边界
LLM 应用的失败不只有 500 错误，还包括幻觉、漏检索、格式不合规、工具误调用和安全绕过。可观测性必须把模型相关上下文纳入 trace，但又不能泄露隐私。生产系统通常为每次请求生成 request_id，把 RAG、工具、模型和后处理的关键事件串起来。
LLMOps 的难点在于模型行为不是传统函数调用，输入稍变、模型版本稍变、上下文稍变，都可能让输出分布变化。因此工程系统必须把“可变的模型行为”包进“可管理的发布、监控和回滚流程”。
三、带数字的工程算例
一次请求总耗时 8 秒，其中检索 300ms、重排 700ms、模型首 token 1.5 秒、decode 5 秒、后处理 500ms。没有 trace 只能感觉“慢”，有 trace 才知道主要瓶颈是输出太长还是模型首 token 慢。
这个算例的作用不是追求精确到小数，而是帮助你在面试中建立量级感。只要能估出 token、并发、延迟、成本或错误率的数量级，你的回答就会从概念题变成工程题。
总延迟 = 检索延迟 + 工具延迟 + 首 token 延迟 + decode 延迟 + 后处理延迟
单请求成本 = input_tokens_cost + output_tokens_cost + 工具成本
质量看板 = 任务成功率 + 格式合规率 + 幻觉率 + 人工反馈四、典型链路怎么跑
可以把这类问题拆成下面的链路来理解：
request_id
|
入口日志
|
RAG span：query、topK、文档版本
|
Tool span：工具名、参数摘要、状态
|
Model span：模型、token、延迟
|
Postprocess span：校验、安全、反馈链路图的价值在于暴露责任边界：哪一步做权限，哪一步算成本，哪一步可重试，哪一步必须审计。面试时能画出链路，通常就能自然回答故障排查和系统设计追问。
五、方案对比和选择标准
| 对象 | 记录内容 | 用途 |
|---|---|---|
| Metric | 聚合数值 | 告警和趋势 |
| Log | 请求细节 | 错误分析和审计 |
| Trace | 跨组件链路 | 定位瓶颈和故障 |
| Eval | 质量样本 | 判断模型是否变差 |
选择方案时要先说评估维度，再说取舍。LLMOps 面试很看重这种思维，因为真实系统没有银弹，只有在质量、成本、延迟、安全和维护成本之间做平衡。
六、上线后最容易出问题的地方
- 原始 prompt 和工具结果可能包含隐私，要做脱敏、采样和权限控制。
- 只监控错误码会漏掉“成功返回但答案错误”的核心问题。
- 只在少量 demo 上验证会低估风险，真实流量中的长尾输入、权限组合和外部依赖更复杂。
- 没有版本记录时，线上问题很难复现；prompt、模型、知识库、工具和配置都要纳入发布记录。
七、常见误区与追问
- 误区：LLM 应用只接入普通接口监控就够了。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 误区：把完整 prompt 全量落日志最方便。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 误区：用户点赞率可以替代质量评测。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 追问：如何设计一次 LLM 请求的 trace schema？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
- 追问：怎样监控 hallucination？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
- 追问：日志脱敏会不会影响排障？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
八、加强记忆
按“四张表”记：稳定性表、成本表、质量表、安全表。LLMOps 可观测的价值，是把模型黑箱外的每一步都变成可追踪证据。
复习 LLMOps 题时，可以固定用“目标、链路、预算、风险、观测、回滚”六步组织答案。这样既能回答原理，也能自然延伸到生产系统设计。