什么是大模型幻觉？产生原因和缓解方法有哪些？

简化版

大模型幻觉指输出流畅、看似合理，却与事实、输入证据或任务要求不一致，例如编造人名、数字、论文或链接。根因包括训练目标不直接验证事实、数据缺陷与过时、证据不足、提示歧义和解码随机性。治理要组合 RAG、权威工具、引用核验、结构化校验和证据不足时拒答；降低随机性只能减少采样波动，不能把错误知识变正确。

详细版

幻觉常分三类：

• 事实性幻觉：捏造人物、数字、论文、链接、事件（与世界事实不符）。
• 忠实性幻觉：摘要/问答与提供的材料不一致（材料里没有却硬说有）。
• 逻辑性幻觉：推导自相矛盾，结论不由前提支持。

主要原因：训练目标不验证事实、语料有错或冲突、长尾知识记不牢、上下文证据不完整、模型被迫回答（不许说不知道）、解码随机性过高。

缓解需组合：检索权威资料（RAG）、调用数据库/计算器/API、要求基于证据回答并核验引用、对结构化字段做校验、设置置信与拒答机制、用真实业务样本持续评估。降低 Temperature 可提高重复性、减少偶发偏离，但只是一项有限的解码控制。没有单一银弹。

完整版教学

一、为什么”语言流畅”不等于”内容真实”

语言模型学的是“在这段上下文后，什么 token 更可能出现”。它在海量文本里学到大量事实关联，但没有一个内置的、数据库式的真值查询步骤。当上下文不足、训练又没有让拒答行为占优时，模型仍可能继续生成语言上连贯的延续，于是用常见模式补出一个并不存在的细节。

这就是幻觉难治理的重要原因：正确陈述与貌似合理的错误陈述都由同一个条件生成机制产生。模型内部可以呈现不确定性信号，但这些信号并不天然校准，不能可靠证明某次回答来自真实记忆还是错误补全。

记住这句：幻觉不是模型撒谎，而是”按语言规律补全”越过了它真正知道的边界。

二、三类幻觉，对应不同的排查方向

用例子区分三类，能帮你精准定位问题：

类型	例子	根子在哪
事实性	「爱因斯坦 1921 年发明了晶体管」	模型知识错误/长尾
忠实性	给的资料说「营收增长 10%」，模型答「增长 20%」	没忠于上下文证据
逻辑性	前提对，但推导跳步、结论矛盾	推理链断裂

忠实性幻觉尤其值得警惕：即便你给了正确资料，模型也可能不照着说——这类在 RAG 系统里最常见，光有检索不够，还要约束「只依据证据回答」。

三、模型内部原因 vs 系统外部原因

看到幻觉别只怪模型，要沿整条链路排查：

模型层面：参数容量有限、长尾知识记不牢、相似事实互相干扰（张冠李戴）、多步推理误差累积。

系统层面：检索没召回关键文档、切块把关键上下文切断、提示要求过强（逼它必须答）、工具结果解析失败，或把参数中的过时知识当成当前事实。训练数据覆盖期之后的信息若没有通过上下文或工具提供，就不应让模型凭参数回答。

所以排查要沿 「用户问题 → 检索 → 提示组装 → 生成 → 后处理」 整条链走，而不是一上来就换模型。很多”幻觉”其实是检索或提示环节的问题。

四、RAG 能缓解，但不是保险箱

RAG 把外部证据放进上下文，让回答有据可依，还能更新知识、提供引用——是缓解幻觉的主力。但它不保证消除幻觉，会失效于：

• 没召回关键文档（检索漏了）；
• 召回内容互相冲突，模型不知信谁；
• 重排错误，把不相关的排前面；
• 模型忽略证据、仍按自己的先验编（忠实性幻觉）。

高质量 RAG 需要：查询改写、合理切块、混合检索（BM25+向量）、重排、来源元数据、上下文去重、以及明确的「基于证据回答」约束。RAG 是「让知识可查」，但还要配合下面的「让结论可验」。

五、把”求真”交给确定性组件

生成模型擅长理解和表达，不擅长精确计算和实时事实。所以分工：

• 精确计算 → 交给计算器/代码执行，别让模型心算。
• 实时/权威数据 → 查数据库、API（股价、天气、库存）。
• 代码正确性 → 运行测试用例验证。
• 结构化字段（日期、金额、枚举、URL）→ 用 JSON Schema、正则、业务规则校验，不合规就拒绝或重试。

原则是：生成模型负责”理解与表达”，确定性组件负责”求真与验证”。 把该算的交给会算的，把该查的交给能查的。

六、允许说”不知道” + 怎么评估

允许拒答是被低估的一招。如果系统要求「必须回答」，模型在证据不足时更倾向猜测。提示里应明确：「仅根据给定材料回答；证据不足就说明缺什么」，并可基于检索分数、来源数量、校验结果触发拒答或转人工。

评估不能只看文字相似度，要建带标准答案 + 证据来源的测试集，分维度看：

• 事实正确率（答案对不对）；
• 引用支持率（引用是否真的支撑结论）；
• 忠实度（是否忠于给定材料）；
• 拒答准确率（该拒的有没有拒、该答的没误拒）；
• 严重错误率（高危错误单独统计，医疗/金融按危害分级）。

易错点：展示了引用 ≠ 结论被支持。必须核查引用内容是否真的蕴含该结论——模型有时会引一篇真实文献，却曲解它的意思。

七、常见误区与追问

• 误区：模型不知道答案时才会幻觉。 模型也可能基于错误前提、冲突上下文或解码随机性，在熟悉领域生成错误细节。
• 误区：接入 RAG 就能消除幻觉。 检索可能漏召回、取回错误证据，模型也可能无视或曲解证据，仍需引用校验与无答案策略。
• 误区：降低 temperature 就能保证事实正确。 低温减少采样随机性，却不会修复参数知识错误或证据缺失，只会更稳定地输出同一错误。
• 追问：如何区分检索幻觉和生成幻觉？ 先检查证据是否被正确召回；证据缺失是检索问题，有充分证据却回答不支持则是生成或指令问题。
• 追问：线上怎样监控幻觉？ 对可核验任务计算引用支持率、事实一致性和无证据断言率，对开放任务做风险分层抽检。

八、把幻觉定位到链路中的具体环节

问题可回答性 -> 检索召回 -> 证据支持 -> 生成忠实度 -> 引用校验
     否            缺失          冲突          擅自补全        引用错位

离线集应给每个结论标注可支持证据，并分别统计检索命中率、引用支持率与无证据断言率。线上再按高风险领域抽样复核；只有先区分“没有证据”和“有证据却没照着答”，治理措施才不会错位。

九、加强记忆

幻觉要从事实、忠实和逻辑三类区分，并沿“问题可回答性→检索→提示组装→生成→后处理”定位。治理重点是让知识可查、计算可执行、结论可验证，证据不足可以拒答；低温和展示链接都不构成事实保证。模型生成概率与正确概率不同，内部不确定性也需校准，因此高风险结论必须交给权威数据、规则或人工复核。

项目实战落地

项目里怎么做的

《AI Agent智能会议纪要辅助系统》把几万字的会议转写生成结构化纪要，输入全部来自转写原文，项目在好几个环节约束「不在原文里的内容」：

• 生成时只依据输入。 分段提取模板 MEETING_MINUTES_CHUNK 的系统指令是「你是企业会议纪要专家。只能根据输入转写内容提取信息，不得编造事实。」；合并模板要求「将多个分段结果去重、合并，保留可追踪的事实」。
• 结构里留依据字段。 每条决策除了内容，还有 basis（这条决策来自转写里的哪段讨论）、建议负责人和建议完成时间；转写按 [秒数][说话人] 内容 逐行交给模型。
• 审查专门查无依据的内容。 纪要自检的审查步对照转写原文检查，问题类型里有一项 UNSUPPORTED，含义是「转写原文里找不到依据」。
• 模型给的人名对回名单。 说话人建议匹配把参会人员名单（带 user_id）交给模型，只能从名单里选人；返回后按名单和这次转写里的说话人标签过滤一遍，推荐的人不在名单里、或者标签不在这次转写里的建议直接丢掉。
• 生成结果先是草稿。 纪要生成完成后状态是 DRAFT（已生成待修订），要经过人工修订、确认才归档。

为什么这样取舍

• 每行带上秒数和说话人。 模型才能归纳出谁在什么时候说了什么。
• 名单外的人要过滤。 模型可能给出名单以外的 user_id，按参会人员名单过滤一遍，只留下确实存在的人。

面试官还会追问

• 纪要审查为什么要分「记全了没有」和「能不能落实」两组标准？只查后一组会出什么问题？
• 纪要生成、审查、说话人匹配三处模型调用，温度和自动重试是怎么设的？为什么？

学完《AI Agent智能会议纪要辅助系统》，上面这些追问你都会迎刃而解。