大模型应用如何做 token 预算和成本优化？
简化版
token 预算要在系统提示、上下文、检索片段、工具描述、用户输入和输出上分配额度。成本优化常用模型路由、上下文压缩、缓存、批处理、输出长度控制、降级模型和离线预计算，但不能牺牲关键任务质量。
详细版
- 输入 token 和输出 token 都会影响成本，输出还影响响应时长。
- RAG 片段越多不一定越好，过多会增加成本并稀释注意力。
- 模型路由可以让简单问题走小模型，复杂问题走强模型。
- 输出长度、温度、重试次数和工具调用次数都要纳入预算。
- 成本优化要和质量评测绑定，避免省钱省到不可用。
完整版教学
记忆钩子：成本优化不是砍 token，而是把 token 花在最能降低错误的位置。
一、这题真正考什么
记忆钩子：成本优化不是砍 token，而是把 token 花在最能降低错误的位置。
面试官真正想看的是你有没有生产工程视角：能不能把模型能力、业务流程、用户体验、成本和风险放在同一张图里思考。回答时不要只停留在工具名，而要讲出边界、链路和验收方式。
二、核心原理和工程边界
LLM 请求成本通常按 token 计费，系统的吞吐和延迟也受 token 数影响。token 预算就是在有限上下文窗口里决定哪些信息值得放进去。好的优化会先做流量分层，再对高频路径加缓存和压缩，对低价值信息做裁剪，对高风险请求保留强模型。
LLMOps 的难点在于模型行为不是传统函数调用，输入稍变、模型版本稍变、上下文稍变，都可能让输出分布变化。因此工程系统必须把“可变的模型行为”包进“可管理的发布、监控和回滚流程”。
三、带数字的工程算例
假设一次请求输入 6000 token、输出 1000 token，单价分别是每百万 2 元和 8 元，则单次约 6000/1e6*2 + 1000/1e6*8 = 0.02 元。每天 50 万次就是约 1 万元，10% 的无效上下文也很贵。
这个算例的作用不是追求精确到小数，而是帮助你在面试中建立量级感。只要能估出 token、并发、延迟、成本或错误率的数量级，你的回答就会从概念题变成工程题。
单次成本 = input_tokens / 1e6 * 输入单价 + output_tokens / 1e6 * 输出单价
上下文预算 = 系统提示 + 用户输入 + 检索片段 + 工具描述 + 输出预留
节省率 = 1 - 优化后总成本 / 优化前总成本四、典型链路怎么跑
可以把这类问题拆成下面的链路来理解：
统计请求 token 分布
|
识别高频高成本路径
|
设置预算和截断策略
|
引入缓存与模型路由
|
跑质量回归
|
上线监控成本和错误率链路图的价值在于暴露责任边界：哪一步做权限，哪一步算成本，哪一步可重试，哪一步必须审计。面试时能画出链路，通常就能自然回答故障排查和系统设计追问。
五、方案对比和选择标准
| 手段 | 节省对象 | 风险 |
|---|---|---|
| 上下文压缩 | 输入 token | 可能丢关键证据 |
| 输出限长 | 输出 token 和延迟 | 答案不完整 |
| 模型路由 | 单次价格 | 小模型误判 |
| 缓存 | 调用次数 | 过期和串权限 |
选择方案时要先说评估维度，再说取舍。LLMOps 面试很看重这种思维，因为真实系统没有银弹，只有在质量、成本、延迟、安全和维护成本之间做平衡。
六、上线后最容易出问题的地方
- 只按平均 token 做预算会忽略长尾请求，长尾可能拖垮成本和延迟。
- 重试策略如果没有上限，会在模型波动时制造成本尖峰。
- 只在少量 demo 上验证会低估风险，真实流量中的长尾输入、权限组合和外部依赖更复杂。
- 没有版本记录时，线上问题很难复现；prompt、模型、知识库、工具和配置都要纳入发布记录。
七、常见误区与追问
- 误区：减少 RAG chunk 数一定会降低错误率。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 误区：小模型路由只需要按问题长度判断。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 误区：输出越短用户体验越好。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 追问：如何为不同用户设置 token 配额？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
- 追问：模型路由的分类器怎么评估？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
- 追问：成本下降和质量下降如何权衡？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
八、加强记忆
记住“先量化，再分层，再压缩，再路由，再验收”。成本优化必须有账本，也必须有质量护栏。
复习 LLMOps 题时，可以固定用“目标、链路、预算、风险、观测、回滚”六步组织答案。这样既能回答原理，也能自然延伸到生产系统设计。