大模型应用基础面试题9 个知识点 · 23 题

调用模型、生成参数、上下文、多轮对话、结构化抽取、流式输出与幻觉。每个知识点按面试官的追问顺序排列,第 1 题是主问题。

基础

生成参数与解码策略

2 问
  1. 主问题 Temperature、Top-p、Top-k 如何影响大模型生成? 中等
  2. 追问 1 Greedy、Beam Search、Sampling 与 Constrained Decoding 如何选择? 中等

上下文窗口与长文本处理

4 问
  1. 主问题 什么是大模型的上下文窗口?长度越长越好吗? 中等
  2. 追问 1 什么是 Lost in the Middle?长上下文为什么会忽略中间信息? 困难
  3. 追问 2 大模型处理长文本摘要时应该如何切分、压缩和校验? 中等
  4. 追问 3 大模型应用如何做上下文压缩? 困难

结构化信息抽取

3 问
  1. 主问题 如何用大模型做可靠的结构化信息抽取? 中等
  2. 追问 1 大模型输出的 JSON 不合法时应该如何修复? 中等
  3. 追问 2 模型输出解析失败时,应该填默认值继续,还是直接报错? 中等

流式输出

3 问
  1. 主问题 大模型应用为什么要做流式输出、取消和超时控制? 中等
  2. 追问 1 什么时候用流式输出,什么时候必须等模型完整返回? 中等
  3. 追问 2 流式对话的消息什么时候落库?中途失败、被截断或用户停止时怎么处理? 中等

幻觉与能力边界

4 问
  1. 主问题 什么是大模型幻觉?产生原因和缓解方法有哪些? 中等
  2. 追问 1 大模型能力边界如何判断?哪些任务不适合直接交给 LLM? 中等
  3. 追问 2 如何让大模型回答 Grounded 到可信来源? 困难
  4. 追问 3 如何估计大模型回答的置信度? 困难

进阶 实战项目带你做完

Token 预算与输出长度

2 问
  1. 主问题 大模型应用如何管理 Token 预算? 中等
  2. 追问 1 如何控制大模型的输出长度并处理截断? 中等
延伸题(3)