大模型微调面试题25 题
- 01 全量微调和参数高效微调（PEFT）有什么区别？
- 02 什么是大模型微调？它与 Prompt、RAG 应该如何选择？
- 03 大模型微调中哪些超参数最关键？训练不稳定如何排查？
- 04 领域适配微调和通用 SFT 有什么区别？如何避免只学到术语？
- 05 什么是灾难性遗忘？大模型微调时如何缓解？
- 06 微调模型应该如何评估、保存和上线？
- 07 Instruction Tuning 和普通 SFT 有什么区别？
- 08 LoRA 的 rank、alpha、dropout 怎么影响微调效果？
- 09 LoRA 的原理是什么？rank、alpha 和 target_modules 如何选择？
- 10 LoRA Adapter 要不要合并到基座模型？
- 11 SFT 数据集应该如何构建？高质量指令数据有哪些标准？
- 12 SFT 中为什么要统一 Chat Template？Loss Mask 应该怎么做？
- 13 大模型微调数据质量如何评估？
- 14 微调为什么会导致灾难性遗忘？如何缓解？
- 15 QLoRA 的原理是什么？4-bit 量化权重真的参与训练吗？
- 16 领域微调如何避免只记住训练样本？
- 17 微调数据如何划分验证集？
- 18 微调数据为什么要去重？
- 19 LoRA target_modules 应该如何选择？
- 20 SFT 训练中的样本 Packing 有什么收益和风险？
- 21 多个 LoRA Adapter 能否组合使用？
- 22 微调过程中如何选择最佳 checkpoint？
- 23 微调模型上线时要注意哪些兼容性？
- 24 微调数据中的 System Prompt 为什么要保持一致？
- 25 微调小模型和大模型有什么不同？
没有符合条件的题目。