大模型微调面试题26 题
26 题
- 01 全量微调和参数高效微调（PEFT）有什么区别？
- 02 什么是大模型微调？它与 Prompt、RAG 应该如何选择？
- 03 大模型微调中哪些超参数最关键？训练不稳定如何排查？
- 04 领域适配微调和通用 SFT 有什么区别？如何避免只学到术语？
- 05 什么是灾难性遗忘？大模型微调时如何缓解？
- 06 微调模型应该如何评估、保存和上线？
- 07 LoRA 的原理是什么？rank、alpha 和 target_modules 如何选择？
- 08 SFT 数据集应该如何构建？高质量指令数据有哪些标准？
- 09 SFT 中为什么要统一 Chat Template？Loss Mask 应该怎么做？
- 10 QLoRA 的原理是什么？4-bit 量化权重真的参与训练吗？
- 11 SFT 的 Sequence Packing 如何提高效率？怎样避免跨样本注意力泄漏？
- 12 大模型微调数据质量应该如何评估？
- 13 多个 LoRA Adapter 能否组合使用？
- 14 领域微调如何避免只记住训练样本？
- 15 微调过程中应该如何选择最佳 Checkpoint？
- 16 微调模型上线时要注意哪些兼容性问题？
- 17 微调数据为什么要去重？
- 18 微调数据应该如何划分验证集？
- 19 微调数据中的 System Prompt 为什么要保持一致？
- 20 微调为什么会导致灾难性遗忘？如何缓解？
- 21 微调小模型和大模型有什么不同？
- 22 Instruction Tuning 和普通 SFT 有什么区别？
- 23 LoRA 的 rank、alpha、dropout 如何影响微调效果？
- 24 LoRA 的 target_modules 应该如何选择？
- 25 LoRA Adapter 是否应该合并到基座模型？
- 26 SFT 训练中的样本 Packing 有什么收益和风险？
没有符合条件的题目。