LangChain、LlamaIndex 和自研编排层应该怎么选？
简化版
LangChain 更偏通用链路编排和 Agent 生态，LlamaIndex 更偏数据连接、索引和 RAG 工作流，自研编排层更适合稳定业务流程和强可控生产系统。选择时看团队成熟度、RAG 复杂度、工具链稳定性、可观测和长期维护成本。
详细版
- 框架能加速原型，但也会引入抽象层和版本变动成本。
- RAG 以数据连接、索引、检索、重排为主时，LlamaIndex 往往更顺手。
- 多工具、多 Agent、多步骤编排时，LangChain 生态更丰富。
- 生产系统常把核心链路固化为自研轻量编排，只保留框架里的局部能力。
- 面试回答要能说明“用框架”和“不用框架”的边界。
完整版教学
易错点：框架不是 LLMOps 本身，框架只是帮你组织调用；质量、权限、监控和评测仍要自己负责。
一、这题真正考什么
易错点：框架不是 LLMOps 本身，框架只是帮你组织调用；质量、权限、监控和评测仍要自己负责。
面试官真正想看的是你有没有生产工程视角：能不能把模型能力、业务流程、用户体验、成本和风险放在同一张图里思考。回答时不要只停留在工具名，而要讲出边界、链路和验收方式。
二、核心原理和工程边界
LLM 编排框架解决的是“如何把模型、检索、工具、状态和回调串起来”的问题。它们提供标准组件和生态插件，但生产应用的核心风险在于业务边界、版本锁定、异常恢复和可观测。如果业务路径很稳定，自研有限状态机或 DAG 往往更透明。
LLMOps 的难点在于模型行为不是传统函数调用，输入稍变、模型版本稍变、上下文稍变，都可能让输出分布变化。因此工程系统必须把“可变的模型行为”包进“可管理的发布、监控和回滚流程”。
三、带数字的工程算例
一个知识库问答 demo 可能 2 天用框架搭好；但如果线上有 30 个工具、5 种用户角色、3 个模型供应商和严格审计要求，框架默认抽象可能遮住关键控制点，自研编排反而更容易定位问题。
这个算例的作用不是追求精确到小数，而是帮助你在面试中建立量级感。只要能估出 token、并发、延迟、成本或错误率的数量级，你的回答就会从概念题变成工程题。
选择收益 = 原型速度 + 生态能力 - 抽象成本 - 版本风险 - 调试成本
RAG 重数据管道 => LlamaIndex 倾向更强
多工具工作流 => LangChain 倾向更强；稳定核心链路 => 自研更强四、典型链路怎么跑
可以把这类问题拆成下面的链路来理解：
需求拆解
|
是否以 RAG 数据管道为核心？
| yes -> 评估 LlamaIndex
| no
是否多 Agent/多工具快速实验？
| yes -> 评估 LangChain
| no -> 轻量自研编排链路图的价值在于暴露责任边界：哪一步做权限，哪一步算成本，哪一步可重试，哪一步必须审计。面试时能画出链路，通常就能自然回答故障排查和系统设计追问。
五、方案对比和选择标准
| 方案 | 优势 | 代价 |
|---|---|---|
| LangChain | 生态广、Agent 组件多 | 抽象复杂、版本变化快 |
| LlamaIndex | 数据连接和索引友好 | 非 RAG 流程不一定轻 |
| 自研编排 | 可控、可观测、稳定 | 前期开发成本更高 |
| 混合使用 | 吸收生态能力 | 边界设计要清楚 |
选择方案时要先说评估维度，再说取舍。LLMOps 面试很看重这种思维，因为真实系统没有银弹，只有在质量、成本、延迟、安全和维护成本之间做平衡。
六、上线后最容易出问题的地方
- 不要让业务核心链路被黑盒 callback 淹没，否则线上排障很痛苦。
- 框架升级要有回归评测，prompt、retriever 和 parser 的细小变化都可能影响答案。
- 只在少量 demo 上验证会低估风险，真实流量中的长尾输入、权限组合和外部依赖更复杂。
- 没有版本记录时，线上问题很难复现；prompt、模型、知识库、工具和配置都要纳入发布记录。
七、常见误区与追问
- 误区：用了 LangChain 就等于有了 Agent 能力。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 误区：LlamaIndex 只能做简单向量检索。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 误区：自研一定比框架更可靠。 要补充适用条件、失败模式和工程兜底，避免把局部经验讲成绝对规律。
- 追问：生产中为什么常做框架瘦身？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
- 追问：如何迁移掉框架里的某个组件？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
- 追问：框架选型要看哪些非功能指标？ 先给判断标准，再从数据、链路、权限、监控或评测角度说明落地方案。
八、加强记忆
把选型记成“三问”：是不是重 RAG，是否要快速试多工具，核心链路是否要求强可控。框架帮你快，自研帮你稳，成熟系统常常两者混用。
复习 LLMOps 题时，可以固定用“目标、链路、预算、风险、观测、回滚”六步组织答案。这样既能回答原理，也能自然延伸到生产系统设计。