什么是 Self-Consistency？什么时候值得使用？

简化版

Self-Consistency 是对同一问题用非零随机性采样多条独立推理路径，再对标准化后的最终答案投票，而不是只取一次贪心解码。它在存在多条解法且答案可离散比较的数学、逻辑任务上可能提升准确率，但会近似成倍增加成本；多个样本也可能共享同一偏差，因此不能替代外部验证。生产中应按难度触发、早停，并把无共识样本转强模型或人工。

详细版

流程为：生成 K 个候选 → 提取最终答案 → 规范化等价形式 → 聚类或投票 → 根据票差决定接受或升级。温度太低时样本几乎相同，太高时噪声变大；K、温度和阈值都要在验证集上调节。

question -> sample_1 -> answer A
         -> sample_2 -> answer B
         -> sample_3 -> answer A
         -> sample_4 -> answer A
majority = A, agreement = 3/4

适合答案可判等的任务，不适合开放文案直接逐字投票。开放答案需先抽取 claim、评分或用验证器排序。评测要与同等 token 预算的单次长推理、强模型和工具验证比较，并统计准确率、成本、延迟、覆盖率以及“高一致但错误”的比例。

完整版教学

一、核心思想是对路径做集成

单次解码可能在早期走错一步，后续一直沿错误路径生成。若模型有机会采样多条不同路径，正确解法可能在多数候选中出现，通过投票降低单条路径偶然错误。

Self-Consistency 与简单重复问相似，但强调路径多样性和答案聚合。若温度为 0 且服务完全确定，重复十次只得到同一结果，没有集成价值。

记忆钩子：不是让模型把同一条路走十遍，而是让它走多条路，再看终点是否一致。

二、为什么多数票可能提高准确率

在候选错误相对独立且单次正确率超过 50% 时，多数票可降低随机错误。若单次正确率为 0.7，独立采样 3 次，至少 2 次正确的概率为：

C(3,2)×0.7²×0.3 + 0.7³ = 0.784

理论上从 70% 提到 78.4%。但独立假设通常不成立：样本共享模型知识、提示和训练偏差，真实收益往往更小。

如果单次正确率低于 50%，多数票甚至会稳定地产生错误。

三、采样配置决定路径多样性

温度和 top-p 控制随机性。太低时答案高度相关，太高时产生无意义路径。可固定其他参数，仅在验证集扫描温度和 K，观察“独特答案数—准确率—成本”曲线。

配置	优点	风险
低温、小 K	便宜稳定	多样性不足
中温、中 K	常见折中	仍需校准
高温、大 K	路径丰富	噪声和费用高

不应照搬论文参数，因为模型、任务和 Prompt 不同。

四、答案规范化是投票前提

0.5、1/2 和 50% 语义相同，字符串投票会把它们分成三类。数学答案可用符号化简，分类答案用枚举，实体答案做单位与别名规范化。

规范化必须保守。把“苹果公司”和“苹果”强行合并可能混淆公司与水果；无法判等的候选应保留为不同簇或交给验证器。

除了多数票，还可按外部验证分数、样本置信信号或来源质量加权，但权重需要校准。

五、共识不是正确性的证明

十个样本都可能复述同一个错误事实，因为它们来自同一模型和上下文。高一致度更像“模型稳定”，并不等于“世界为真”。

尤其知识问答、偏见和提示误导场景，共享错误高度相关。此时检索权威来源、计算器或规则验证比继续采样更有效。

监控要单独统计高一致但错误样本，它们最容易让系统过度自信。

六、开放式任务不能直接多数投票

五篇摘要几乎不会逐字相同。可以先抽取事实 claim，统计哪些 claim 在多个候选出现并验证证据；也可用明确量表评分候选，再让独立验证器选择。

这已接近“best-of-N”而不是严格 Self-Consistency。两者区别在于前者选择整体质量最高候选，后者依靠等价答案的共识。

文案创作追求多样性时，直接选择一个最符合风格的候选更合适，无需把差异压成共识。

七、成本、延迟与早停

生成 K 条路径大致需要 K 倍推理资源，虽然可以并行降低墙钟时间，却会提高峰值并发。可用分批早停：先采样 3 条，若答案 3:0 且历史校准显示足够可靠就停止；分歧大再加到 5 或 7 条。

例如 70% 简单题在 3 条时早停，30% 困难题扩到 7 条，平均样本数为 0.7×3+0.3×7=4.2，比固定 7 条节省 40%。

早停阈值必须用验证集校准，不能凭一次领先就结束。

八、实验要做公平预算对比

比较对象包括单次普通解码、一次更长推理、更强模型、Self-Consistency 和工具验证。应固定总 token 或总费用，否则“多花十倍钱提高两点”容易被误解为算法优越。

报告准确率、每个正确答案成本、P95 延迟、无共识率和高共识错误率。按题目难度分层，避免大量简单题稀释真实收益。

线上可先在验证失败或低置信样本触发，而不是所有请求默认 K=10。

九、常见误区与追问

• 误区：重复调用越多，准确率一定越高。 共享偏差和低单次正确率可能让错误更稳定。
• 误区：温度设为 0 也能获得多路径。 候选可能完全相同，没有集成收益。
• 误区：答案字符串不同就代表结论不同。 投票前要规范化等价表示。
• 误区：高共识就是高事实置信度。 多个样本可能共享相同知识错误。
• 误区：开放文案也适合多数票。 应使用量表选择或 claim 级验证。
• 追问：K 应该设多少？ 在验证集上按收益曲线选择，并使用分批早停控制平均成本。
• 追问：分歧很大怎么办？ 补充证据、换强模型、使用工具验证或转人工，而不是盲目加样本。
• 追问：与 best-of-N 有何区别？ Self-Consistency 聚合等价答案，best-of-N 用评分器挑一个候选。

十、加强记忆

Self-Consistency 记住“多路径、先规范、再投票、共识非真值”：用适度随机性生成多条候选，先把等价答案归一化，再按多数或校准权重聚合；它只降低部分路径随机错误，无法消除共享偏差。用早停和难题路由控制 K，并与同预算的强模型或工具验证比较；高共识仍需在高风险场景外部验真。