工程化与 LLMOps面试题5 个知识点 · 14 题

应用分层与框架选型、模型与 Prompt 配置中心、调用日志与可观测、成本统计、反馈闭环。每个知识点按面试官的追问顺序排列,第 1 题是主问题。

基础

应用分层与框架选型

4 问
  1. 主问题 一个生产级大模型应用通常怎么分层架构? 中等
  2. 追问 1 LangChain、LlamaIndex 和自研编排层应该怎么选? 中等
  3. 追问 2 Spring AI、LangChain4j 和 LangChain 应该怎么选? 中等
  4. 追问 3 调用大模型的方法为什么不能放在数据库事务里? 中等

模型与 Prompt 配置中心

3 问
  1. 主问题 模型配置为什么要做成可动态修改的?连通性测试要测什么? 中等
  2. 追问 1 Prompt Registry 在 LLMOps 中解决什么问题? 中等
  3. 追问 2 模型配置存进数据库后,API Key 在管理页面上怎么展示和修改? 中等

调用日志与链路追踪

3 问
  1. 主问题 大模型应用日志应该记录哪些字段? 中等
  2. 追问 1 如何为多步骤 LLM 工作流设计端到端 Trace? 困难
  3. 追问 2 调用大模型失败时,报错怎么翻译给用户?哪些错误重试也没用? 中等

进阶 实战项目带你做完

延伸题(14)