Decode 阶段为什么难并行？如何优化？

简化版

Decode 是逐 Token 自回归生成：第 t 步必须等第 t-1 步的 Token 产生，因此单个请求无法沿时间维并行。每一步只计算一个新 Token，却要读取所有层权重和历史 KV Cache，通常属于访存受限阶段。

优化重点不是强行并行同一请求，而是用连续批处理把不同请求的 Decode 步合并，提高 GPU 利用率；再配合 PagedAttention、KV Cache 量化、投机解码和合理调度，同时守住 TPOT、P99 延迟与显存上限。

详细版

Prefill 可以一次处理整段 Prompt，矩阵较大、算术强度高；Decode 每轮只有一个新 Token，存在严格的数据依赖，矩阵向量计算小且频繁读取模型权重和 KV Cache。于是它往往受显存带宽、Kernel 启动开销与批次波动限制。

主要手段如下：

连续批处理：已完成请求立刻退出，新请求按调度策略插入。
PagedAttention：以页管理 KV Cache，减少预留浪费和碎片。
KV 优化：采用 GQA/MQA、低比特 KV 或上下文淘汰来降低读写量。
投机解码：草稿模型一次提出多个 Token，目标模型并行验证。
Kernel 与量化：融合算子、减少访存，并量化权重以提升带宽效率。

不能只看总 Tokens/s。交互服务至少同时观察 TTFT、TPOT、端到端 P95/P99、每请求生成速度、拒绝率和显存水位；批次过大可能提高吞吐，却让单请求排队与每 Token 延迟恶化。

完整版教学

1. Prefill 与 Decode 的计算形态

自回归推理分为两个阶段。Prefill 输入长度为 S 的 Prompt，一次计算其全部隐藏状态并建立 KV Cache；Decode 每轮输入一个新 Token，复用缓存并生成下一个 Token。

Prompt: [x1 x2 ... xS] --Prefill--> KV Cache + y1
                                          |
                     y1 --Decode step 1--> y2
                     y2 --Decode step 2--> y3
                     y3 --Decode step 3--> ...

Prefill 的大矩阵乘法容易吃满计算单元；Decode 的小矩阵计算常需反复搬运权重和 KV，因此两者不能用同一套批处理结论概括。

2. 为什么单请求难沿时间并行

语言模型生成满足：

P(y1:T | x) = Π(t=1..T) P(yt | x, y1:t-1)

第 t 个 Token 的输入包含之前实际采样出的结果。除非改变算法、先猜后验，否则不知道 y(t-1) 就不能精确计算 yt。这条因果依赖限制的是时间维并行，不代表 GPU 上完全没有并行：层内矩阵计算、张量并行以及不同请求之间仍可并行。

3. 为什么 Decode 常受显存带宽限制

每步只处理少量 Token，却要读取大部分模型权重。以 FP16 的 7B 模型为例，权重约 14 GB；单请求逐步生成时，计算量不足以摊薄权重搬运成本，算术强度偏低。

KV Cache 还会随上下文增长持续读取。粗略大小为：

KV bytes = 2 × layers × kv_heads × head_dim × sequence_length × bytes_per_element

其中系数 2 表示 Key 和 Value。上下文越长、并发越高，缓存带宽和容量压力越明显。

4. 连续批处理如何提高利用率

静态批处理要等整批最慢请求结束，短请求完成后的槽位会空闲。连续批处理在每个迭代边界移出已完成序列，并加入等待请求，让 GPU 始终维持可用批次。

step 1: A B C D
step 2: A B C D
step 3: A E C D   # B 完成，E 立即进入
step 4: F E C D   # A 完成，F 立即进入

代价是调度复杂度增加，而且批次越大不一定越好：当 KV 读取、显存或尾延迟成为瓶颈后，继续加序列只会增加竞争。

5. PagedAttention 解决什么问题

若按每个请求的最大长度连续预留 KV，实际只生成几十个 Token 的请求也可能占用大块空间，并产生外部碎片。分页管理把逻辑 KV 映射到固定大小的物理块，需要时再分配。

方式	优点	主要问题
连续预留	地址简单	预留浪费、扩容和碎片明显
分页 KV	按需分配、便于共享	需要块表与高效分页 Kernel
CPU Offload	扩大可服务上下文	PCIe 传输可能拖慢 TPOT

分页不会减少单个 Token 理论所需的 KV 内容，但能提升可用显存比例，使更多请求进入批次。

6. GQA、MQA 与 KV 量化

标准多头注意力为每个查询头保存一组 K/V；GQA 让多个查询头共享 K/V 头，MQA 则进一步共享为单组，从模型结构上减少 KV 容量和带宽。

对已有模型还可把 KV 从 FP16 压到 FP8 或更低位宽。收益应以真实长度分布测量，因为量化和反量化也有 Kernel 成本，并可能影响长上下文质量。不能把权重量化与 KV 量化混为一谈：它们减少的是不同数据流。

7. 投机解码为何能突破一步一 Token

投机解码用便宜的草稿模型提出 k 个候选 Token，再由目标模型一次前向并行验证；接受连续前缀，遇到拒绝则按目标分布修正。正确实现可以保持目标模型的采样分布。

收益取决于接受率、草稿成本和验证批次。草稿模型太慢或领域差异过大时，接受率低，额外调用反而变慢。面试中应说明它减少的是目标模型串行步数，不是取消自回归依赖。

8. Kernel 融合与权重量化

RMSNorm、RoPE、残差和采样等小算子若分别启动，会产生额外读写与 Kernel 启动开销。融合 Kernel 能让中间结果尽量留在寄存器或共享内存。

权重 INT8/INT4 量化可减少每步读取字节数，对带宽受限的 Decode 尤其有效。但必须同时检查反量化效率、硬件支持和质量回归；压缩率不等于端到端加速比。

9. 调度必须兼顾公平性

吞吐优先调度可能让长请求持续占据 KV 和计算资源，短请求则排队；过度偏爱短请求又会使长请求饥饿。常见策略会结合等待时间、已生成长度、优先级和 Token 预算。

生产系统还要限制单请求最大上下文和输出长度，并设置租户配额。否则一个超长生成可挤压同卡其他用户，仅靠模型服务内部调度无法形成业务隔离。

10. Prefill 与 Decode 是否要拆分

混合调度时，大块 Prefill 可能阻塞正在进行的 Decode，造成 TPOT 抖动。Prefill/Decode Disaggregation 将两个阶段放到不同实例，分别优化计算密集与带宽密集负载，再传输 KV Cache。

拆分并非免费：KV 传输需要网络带宽，实例比例也需随流量变化。只有长 Prompt、严格 TPOT 或规模足够大时，额外复杂度才可能值得。

11. 如何定位 Decode 瓶颈

先把端到端延迟拆成排队、Prefill、每步 Decode 与后处理，再按输入长度、输出长度、批大小分桶。若 GPU 计算利用率不高但显存带宽接近上限，通常是访存瓶颈；若批次经常不足，则可能是流量或调度问题。

metrics = {
    "ttft_ms": first_token_at - admitted_at,
    "tpot_ms": (last_token_at - first_token_at) / max(output_tokens - 1, 1),
    "tokens_per_second": output_tokens / decode_seconds,
    "kv_cache_usage": used_kv_bytes / total_kv_bytes,
}

平均值会掩盖排队尖峰，应报告 P50、P95 和 P99，并区分服务端 Token 生成速度与用户端网络展示速度。

12. 怎样做容量与上线验证

压测请求必须保留真实的输入长度、输出长度和到达分布。固定短 Prompt、固定输出的离线 Benchmark 无法预测线上 KV 压力和尾延迟。

先在若干并发档位测出吞吐—延迟曲线，再选满足 SLO 的最高安全水位；灰度时同步观察 OOM、拒绝率、抢占率和质量指标。配置回滚不能只回模型，还要覆盖量化方案、调度参数和推理引擎版本。

Decode 优化的目标是在延迟约束内提高有效吞吐，而不是制造一个脱离请求分布的最高 Tokens/s 数字。

13. 常见误区与追问

误区：Decode 完全不能并行。 单请求时间步串行，但层内、跨卡和跨请求仍可并行。
误区：Batch 越大，所有指标越好。 大 Batch 通常提高吞吐，却可能恶化排队、TPOT 和尾延迟。
误区：PagedAttention 会减少注意力计算量。 它主要改善 KV 内存管理，不等于稀疏注意力。
误区：量化一定按位宽比例加速。 加速还取决于 Kernel、硬件和反量化开销。
误区：投机解码总能提速。 接受率低或草稿模型过重时可能负收益。
追问：为什么长上下文会拖慢 Decode？ 每步注意力需读取更长的 KV，缓存容量和带宽开销随长度增长。
追问：线上先调哪个参数？ 先基于 SLO 找安全并发和 Token 预算，再评估量化、分页与投机解码。

14. 加强记忆

先记依赖：下一 Token 必须等待上一 Token。
再记瓶颈：小矩阵、反复读权重和 KV，常受带宽限制。
再记并行：用连续批处理并行不同请求。
再记显存：分页、GQA/MQA、KV 量化控制缓存。
再记算法：投机解码用草稿加并行验证减少串行步数。
再记指标：TTFT 看首包，TPOT 看生成，P99 看尾部体验。
最后记边界：优化必须在真实长度分布和 SLO 下验证。

简化版

详细版