GPTQ 的原理是什么？为什么能做低比特权重量化？
简化版
GPTQ 是一种训练后权重量化方法，它利用少量校准数据估计每层输入分布，并用近似二阶信息逐列量化权重、补偿误差。它常用于把 LLM 权重压到 4bit，同时尽量保持生成质量。
详细版
- GPTQ 属于 PTQ，不需要完整重新训练。
- 它关注量化误差对层输出的影响，而不是单纯最小化权重误差。
- 校准数据用于估计 Hessian 或输入相关矩阵。
- 逐列量化后会把误差传播补偿到剩余列。
- 工程上常与 group size、act-order、per-channel scale 等配置一起调优。
完整版教学
这道题考察候选人是否理解低比特量化背后的误差补偿思想。
一、这题真正考什么
这道题考察候选人是否理解低比特量化背后的误差补偿思想。
面试官通常不是想听一个孤立定义，而是想看你能不能把概念、工程约束、质量风险和排查方法串起来。回答时先给边界，再讲机制，最后落到评估指标。
二、核心机制怎么工作
普通 round-to-nearest 量化只关心每个权重离散化后的差距。GPTQ 更进一步：它估计输入协方差信息，判断某个权重量化误差会如何影响输出，再把已量化列产生的误差补偿到未量化列，从而在 4bit 等低位宽下保留更多层输出行为。
需要特别注意的是，这类问题通常有“模型侧”和“系统侧”两层含义。模型侧解释原理，系统侧解释为什么上线后会遇到成本、延迟、质量或安全问题。
三、带数字的拆解
如果一个 7B 模型 FP16 权重大约 14GB，4bit 权重理论上约 3.5GB，再加 scale、zero point 和运行时开销后可能在 4GB 到 5GB 左右。GPTQ 的价值在于让这种压缩不只是变小，还尽量能用。
这个数字例子在面试里很有用，因为它能把抽象概念变成可估算的工程量。候选人如果能主动算出量级，通常比只背定义更有说服力。
目标：min ||XW - XQ(W)||^2
X 表示校准输入激活，W 表示原始权重，Q(W) 表示量化权重
误差补偿会根据近似 Hessian 逆矩阵更新剩余未量化权重四、流程图和工程落点
可以把它拆成下面这条链路来讲：
准备校准样本
|
收集层输入激活 X
|
估计二阶信息
|
按列量化权重
|
传播并补偿误差
|
导出低比特权重工程落点通常包括三件事：第一是输入输出边界，第二是运行时成本，第三是质量验收。只要这三件事没有闭环，原理讲得再漂亮也很难变成可靠系统。
五、和相近方案怎么区分
| 方法 | 是否训练 | 特点 |
|---|---|---|
| RTN | 否 | 最快但质量波动大 |
| GPTQ | 否 | 二阶误差补偿，4bit 常用 |
| AWQ | 否 | 保护重要通道，部署友好 |
| QLoRA | 是 | 量化基座上训练 LoRA |
面试时不要只说“看场景”。更好的回答是先给出区分维度，再说明每个方案为什么适合或不适合某类约束。
六、上线或训练时最容易踩的坑
- 校准数据太少或领域不匹配，会让量化后质量在真实任务上掉得更明显。
- 不同推理框架支持的 GPTQ 格式和 kernel 不同，不能只看模型文件大小。
- 只在 demo 样本上验证会低估真实风险，尤其是长文本、多轮、结构化输出和安全边界。
- 指标要和业务目标绑定，否则可能出现离线分数提升、线上体验下降的情况。
七、常见误区与追问
- 误区：GPTQ 会重新训练整个模型。 面试中要主动补上边界条件和工程后果，避免把概念讲成绝对结论。
- 误区：4bit 模型显存一定只有 FP16 的四分之一。 面试中要主动补上边界条件和工程后果，避免把概念讲成绝对结论。
- 误区：量化误差只需要看权重差值。 面试中要主动补上边界条件和工程后果，避免把概念讲成绝对结论。
- 追问：GPTQ 为什么需要校准数据？ 可以从数据、算法、系统和评测四个角度展开，先说判断标准，再说取舍。
- 追问：group size 对精度和速度有什么影响？ 可以从数据、算法、系统和评测四个角度展开，先说判断标准，再说取舍。
- 追问：GPTQ 和 AWQ 如何选择？ 可以从数据、算法、系统和评测四个角度展开，先说判断标准，再说取舍。
八、加强记忆
记住“GPTQ 不是乱四舍五入，而是边量化边补偿”。面试时抓住校准数据、二阶近似、逐列补偿三个关键词。
复习时建议按“定义、机制、数字、流程、对比、风险”六步默写一遍。能把这六步讲顺，就能覆盖大多数追问。