大模型应用开发与 LLMOps 面试题25 题
- 01 大模型应用部署运维要关注哪些工程问题？
- 02 大模型应用发布流程应该怎么设计？
- 03 大模型应用里的会话状态应该如何管理？
- 04 大模型应用日志应该记录哪些字段？
- 05 大模型应用如何做 token 预算和成本优化？
- 06 大模型应用如何做成本控制？
- 07 大模型应用上线前如何做评测、回归和灰度发布？
- 08 大模型应用为什么要做流式输出、取消和超时控制？
- 09 一个生产级大模型应用通常怎么分层架构？
- 10 LangChain、LlamaIndex 和自研编排层应该怎么选？
- 11 LLMOps 可观测性应该记录哪些指标、日志和 Trace？
- 12 大模型服务如何设计降级和 fallback？
- 13 大模型应用如何防 Prompt Injection 和越权工具调用？
- 14 多模型路由、降级和 fallback 应该如何设计？
- 15 语义缓存、Prompt Cache 和结果缓存有什么区别？
- 16 大模型应用中的密钥和工具凭证如何管理？
- 17 多版本模型如何做路由和回滚？
- 18 评测数据和线上样本为什么需要 lineage？
- 19 LLMOps 中如何接入用户反馈闭环？
- 20 Prompt Registry 在 LLMOps 中解决什么问题？
- 21 大模型缓存如何失效和更新？
- 22 大模型应用故障如何分类？
- 23 大模型应用合规审计要记录什么？
- 24 大模型应用如何做 A/B 测试？
- 25 大模型应用如何做限流和配额？
没有符合条件的题目。