Stable Diffusion 中 LoRA 微调解决什么问题？
简化版
LoRA 用两个小的低秩矩阵表示原权重的增量，冻结基础模型，只训练增量参数。它能以较低显存和存储成本，让 Stable Diffusion 学习特定人物、产品、画风或构图概念。
LoRA 的优势是轻量、可切换、可按强度加载；局限是能力受基础模型约束，少量训练图容易记忆背景或过拟合人物，多个 LoRA 叠加还可能发生概念冲突。高质量结果依赖数据标注、注入层、Rank、学习率和目标域评测，而不只是训练步数。
LoRA 是参数高效的“增量适配器”，不是把任意几张图片无损写入模型。
详细版
对线性层权重 W0 ∈ R^(d_out×d_in)，LoRA 不更新 W0，而学习：
W = W0 + ΔW
ΔW = (α/r) BA
A ∈ R^(r×d_in), B ∈ R^(d_out×r), r << min(d_in,d_out)原层有 d_out×d_in 个参数，LoRA 只有 r(d_in+d_out) 个可训练参数。若层为 4096×4096、r=16，原权重约 1678 万参数，LoRA 为 16×8192=131,072，约占 0.78%。
| 注入对象 | 常见作用 | 成本 | 风险 |
|---|---|---|---|
| U-Net/DiT Attention | 学视觉概念和条件响应 | 较低 | 可能欠拟合复杂风格 |
| U-Net/DiT 更多线性层 | 更强域适配 | 中等 | 文件更大、过拟合更快 |
| Text Encoder | 学新词与文本映射 | 增加训练成本 | 语言能力和触发词漂移 |
| Conv 层 | 学局部纹理 | 视实现而定 | 兼容性与融合更复杂 |
训练集不能只有同一背景、姿势和光线，否则 LoRA 会把偶然共现误当作主体特征。人物 LoRA 应覆盖角度、表情、距离与背景，并加入类别正则或合理 Caption 以区分“身份特征”和“场景特征”。
完整版教学
1. LoRA 为什么适合扩散模型定制
完整微调需要保存一份大型模型，并为全部参数保存梯度和优化器状态。LoRA 冻结基础权重，只训练低秩增量，显著降低显存、训练时长和版本存储成本。
它适合大量租户各自持有小适配器的场景：基础模型统一维护，推理时按请求加载人物、产品或风格 LoRA。
2. 低秩假设是什么意思
LoRA 假设适配任务所需权重变化主要位于低维子空间。两个矩阵 A 与 B 的乘积最多 Rank 为 r，因此用较少自由度表达更新。
r 越大，容量越强，但参数、显存与过拟合风险也增加。Rank 不是画质旋钮；简单风格可能 r=4～16 足够，复杂多概念任务需要通过验证集选择。
3. α、Rank 和推理权重如何区分
训练时常用 α/r 缩放低秩更新，使不同 Rank 下更新幅度较容易比较。推理加载权重 s 时，可写成：
W_runtime = W0 + s × (α/r) BAα 是训练参数化的一部分，s 是部署时的适配器强度。把二者混为一谈，会让同一个文件在不同加载器中的效果不一致。
4. 应该把 LoRA 注入哪些层
早期 Stable Diffusion 常在 Attention 的 to_q/to_k/to_v/to_out 上注入。扩展到更多线性层或卷积层可以提高表达能力，但也增加文件大小和兼容成本。
| 策略 | 参数量 | 表达力 | 适合情况 |
|---|---|---|---|
| 仅 Cross-attention | 最小 | 条件映射较强 | 轻量概念适配 |
| 全 Attention | 较小 | 同时改变图像内部关系 | 人物、风格常用 |
| Attention + FFN | 中等 | 域变化能力更强 | 复杂视觉域 |
| 加 Text Encoder | 更高 | 可重塑触发词语义 | 新概念词，但需谨慎 |
选择必须与导出和推理框架支持的模块名一致。
5. 数据质量为什么比堆训练步数更重要
10 张人物照片若都在同一房间，模型可能把房间当成身份的一部分。Caption 过于简略时，衣服、姿势也会被绑定到触发词。
数据应覆盖希望保持不变的主体特征，同时让应当变化的因素多样化。重复图片、近似帧和严重修图会降低有效样本量。还要确认训练授权和人像同意。
LoRA 学到的是训练数据中的相关性；数据没有解耦身份与背景，参数化方法也不会自动替你解耦。
6. 训练目标与噪声采样如何影响结果
LoRA 通常沿用基础模型的噪声预测或 v-prediction 目标。噪声调度、时间步采样、分辨率 Bucket 和 Caption Dropout 都会改变监督分布。
高噪声步骤更偏全局语义，低噪声步骤更偏局部纹理。如果训练只在某些 SNR 区域获得强梯度，可能出现“像这个人但细节差”或“纹理很像但构图僵硬”。
7. 如何识别过拟合和欠拟合
过拟合表现包括复现训练背景、姿势趋同、非训练 Prompt 也强制出现触发对象；欠拟合表现为主体相似度低、触发词不稳定。
可每隔固定步数保存 Checkpoint，用未参与训练的 Prompt 与种子评测。不要以训练 Loss 最低选择版本，因为更低 Loss 可能只是更会记住训练图。
8. 多个 LoRA 为什么会冲突
多个适配器的更新通常线性相加：
W = W0 + s1 ΔW1 + s2 ΔW2如果它们修改相同层和相近方向，可能互相增强或抵消。两个单独工作良好的 LoRA 叠加后，仍可能出现身份漂移、颜色污染和过饱和。
生产系统应限制数量与权重范围，并对常用组合建立回归集。简单相加不保证概念可组合。
9. 动态加载与权重融合如何选择
动态加载便于按请求切换与调强度，但会增加加载、显存管理和并发复杂度；融合到基础权重可以减少运行时开销，却失去快速切换能力。
若融合，必须保留基础模型版本、LoRA 哈希、缩放系数和融合顺序。某些量化权重无法无损地反复 merge/unmerge，应在高精度主权重上执行并重新导出。
10. 怎样评测一个 LoRA
评测至少包含：
概念保真：人物相似度、产品结构、风格特征
可控性：姿势、背景、服装是否仍可变化
多样性：不同种子是否坍缩为近似图片
基线回归：不触发 LoRA 时基础能力是否正常
工程指标：文件大小、加载延迟、峰值显存
安全合规：训练记忆、版权、人像与敏感内容例如用 50 个未见 Prompt、每个 4 个种子，比较 Rank、Checkpoint 与推理权重，避免只展示训练集附近的精选图。
11. 常见误区与追问
- 误区：Rank 越大效果一定越好。 容量增加也会提高过拟合和存储成本，应由验证集选择。
- 误区：训练步数越多越接近主体。 后期可能开始复制背景和姿势，Loss 低不代表泛化好。
- 误区：LoRA 文件可以跨任意基础模型使用。 层名、维度、文本编码器和基础分布都可能不兼容。
- 误区：推理权重 2.0 只是效果翻倍。 线性参数放大经过非线性网络后可能产生严重伪影。
- 误区：多个 LoRA 独立优秀，叠加就一定优秀。 更新方向可能冲突，需要组合评测。
- 追问：LoRA 与 DreamBooth 是什么关系？ DreamBooth 是个性化训练方法，LoRA 是参数高效的更新形式，两者可组合。
- 追问：为什么要训练 Text Encoder？ 可增强新触发词映射，但更容易改变语言语义并增加过拟合。
12. 加强记忆
- 公式：冻结
W0，学习低秩BA。 - 收益：少参数、低显存、小文件、易切换。
- 四个旋钮：Rank、α、注入层、推理权重。
- 真正核心：数据要解耦主体、背景、姿势和风格。
- 上线要求：记录基础模型版本，验证组合、融合与安全风险。