评测与安全面试题4 个知识点 · 10 题
评测体系、LLM-as-a-Judge、幻觉与事实校验、回归测试，以及提示注入与安全护栏。每个知识点按面试官的追问顺序排列，第 1 题是主问题。
进阶 实战项目带你做完
LLM-as-a-Judge
3 问幻觉评估与事实校验
2 问回归测试与策略对比
2 问延伸题（17）
- Prompt Injection 与 Jailbreak 有什么区别？直接和间接注入如何防御？
- 红队测试如何覆盖提示注入风险？
- 提示注入 Benchmark 应该如何设计？
- 什么是大模型红队测试？如何设计一套有效的 Red Team 流程？
- 大模型 Guardrail 应该如何设计？为什么需要纵深防御？
- 安全策略和拒答边界应该如何设计？
- 安全回归测试集应该覆盖哪些场景？
- 大模型安全风险分类体系应该如何设计？
- 如何评估大模型的安全对齐、拒答能力和过度拒答？
- 大模型上线后如何进行安全监控、漂移检测和事件响应？
- 大模型安全事故响应流程应该包含什么？
- 模型发布前 Canary Evaluation 有什么作用？
- 如何评估大模型的毒性和偏见？
- 什么是大模型 Benchmark 数据污染？如何检测和降低影响？
- 困惑度 Perplexity 是什么？为什么不能只用它评估大模型？
- 代码大模型的 pass@k 如何计算？为什么不等于上线成功率？
- 评测标注一致性应该如何衡量？