扩散模型中控制信号过强或过弱会带来什么问题？

简化版

ControlNet、边缘图、深度图和姿态图等控制信号，会在去噪网络中注入额外残差，引导空间结构。强度太弱时，模型更听 Prompt 和自身先验，可能忽略姿态或轮廓；强度太强时，输出会机械复制控制图，把预处理噪声也画进去，并压制风格和细节生成。

合理强度取决于控制类型、预处理质量和采样阶段。通常先清理控制图，再用固定 Prompt 与种子扫描权重；必要时让结构控制在早期更强、后期衰减，使构图稳定而纹理仍有自由度。

控制权重解决的是“约束与生成自由度如何分配”，不能弥补错误或含噪的控制输入。

详细版

以 ControlNet 为例，主网络某层特征可抽象为：

h'_l = h_l + λ · r_l(c, x_t, t)

h_l 是冻结主网络特征，r_l 是控制分支根据控制图 c 产生的残差，λ 是控制强度。实际实现可能对多层、多个时间步分别缩放，因此一个 UI 标量只是简化接口。

状态	现象	常见原因
控制过弱	姿态漂移、边缘不跟随	λ 小、启用区间短、控制图信息不足
控制适中	结构吻合且细节自然	信号干净、与 Prompt 一致
控制过强	轮廓僵硬、纹理被压扁	λ 大、全程强注入
噪声被放大	杂线、错误肢体、深度断层	预处理器输出有伪影

例如对 100 个姿态 Prompt 固定 4 个种子，扫描权重 0.3、0.6、0.9、1.2，同时测关键点误差、文本对齐和人评自然度。只看“轮廓最像”会偏向过强控制，必须观察多目标曲线。

完整版教学

1. 控制信号与文本条件有什么不同

文本描述提供语义和风格，边缘、深度、姿态等控制图提供空间约束。前者通常是全局 Token 条件，后者保留二维布局。

Prompt -> text encoder --------┐
                               ├-> denoiser -> image
control image -> control branch┘

两者不一致时，例如 Prompt 要“举起左手”，姿态图却举右手，模型会在冲突条件间折中，而不是自动判断谁正确。

2. ControlNet 为什么使用残差注入

ControlNet 复制或适配主网络部分结构，从控制图提取特征，通过零初始化卷积等模块把残差送入冻结的生成网络。零初始化让训练开始时不破坏基础模型，再逐步学会控制。

推理强度通常直接缩放这些残差。它不是“控制图透明度”，而是改变网络中间特征的幅度。

3. 控制过弱会出现什么

当控制残差远小于主网络和文本条件，模型会优先使用训练先验。常见表现是：姿态只大致相似、深度层次反转、边缘结构缺失、小型控制对象被忽略。

但先别急着加权重。若控制图本身没有目标信息，或分辨率对齐错误，再大的 λ 也无法恢复正确结构。

4. 控制过强为什么会损伤画质

强残差会压制基础模型对自然纹理和合理几何的修正能力。Canny 图中的背景杂线、OpenPose 误检的关节、深度图的断层都会被当作必须遵循的结构。

控制模型通常学习的是“按输入条件生成”，不是“先判断条件是否可信”。输入错误会被高权重忠实放大。

5. 预处理噪声有哪些来源

控制信号可能来自另一个模型或传统算法：边缘阈值不合适会产生双边和碎线；深度模型在透明物体上容易出错；姿态估计在遮挡下可能漏关节。

控制类型	典型噪声	预处理措施
Canny/Lineart	碎边、文字边缘	去小连通域、调双阈值
Depth	边界溢出、相对深度错	平滑、裁剪异常区
Pose	漏点、左右翻转	置信度过滤、人工修正
Segmentation	类别错、边缘锯齿	合并小块、软化边界

清理信号通常比盲目提高控制强度更有效。

6. 为什么要设置控制起止时间

扩散早期主要确定全局布局，后期逐渐补充高频纹理。可以让控制只在采样的前 60%～80% 生效，后期交还给基础模型润色。

λ(t) = λ0,                  t in early stage
λ(t) = linear_decay(...),   t in middle stage
λ(t) = 0,                   t in final stage

严格的阶段方向取决于 Scheduler 对时间步的排序，代码中应按实际采样进度而不是原始 t 大小判断。

7. 多个控制信号为何会冲突

姿态、深度和边缘可同时加载，但它们的残差在相同层叠加。若边缘图要求正面轮廓、深度图却来自侧面，增加所有权重只会加剧冲突。

工程上应为每个控制独立设置权重和时序，先单独验证，再逐个叠加。必要时对空间区域加 Mask，避免多个控制争夺同一位置。

8. 分辨率和坐标对齐为什么关键

控制图经过缩放、裁剪和填充后，必须与生成 latent 使用同一几何变换。拉伸长宽比会改变姿态，中心裁剪可能切掉关键对象。

应记录原图尺寸、Resize 策略、Padding 和最终控制张量形状。可把控制图叠加到输出画布做可视化，快速发现坐标错位。

9. 怎样系统地选择强度

不要只凭一张图调参。建立包含简单、复杂、遮挡和冲突场景的集合，固定模型、Prompt、Seed、CFG 和 Scheduler，扫描强度与启用区间。

评价至少包含控制一致性、文本一致性、感知质量和多样性。姿态可用关键点误差，边缘可用 Chamfer/IoU，最终仍需人评自然度。

10. 线上监控应记录什么

记录控制类型、预处理器版本、输入质量摘要、权重、起止比例和模型版本。监控控制失败率、用户重试率和不同权重分布。

若某预处理器升级后高权重样本的伪影突然增加，应能回放同一控制图并快速回滚，而不是只保留最终图片。

11. 常见误区与追问

• 误区：控制权重越高，结果越准确。 它可能更贴轮廓，却损害自然度和文本语义。
• 误区：控制不生效一定是权重太低。 也可能是预处理错误、坐标错位或模型不兼容。
• 误区：多 ControlNet 的权重可以独立调好后直接相加。 条件间可能冲突，必须组合评测。
• 误区：控制图越详细越好。 无关细节和噪声会限制生成自由度。
• 误区：全程使用固定权重最稳定。 分步衰减常能兼顾布局与纹理。
• 追问：如何保姿态但允许服装变化？ 用干净骨架控制、适中权重，并在后期减弱控制。
• 追问：怎样发现控制信号有噪声？ 可视化预处理结果，并对高置信和低置信区域分别统计失败。

12. 加强记忆

1. 公式：主特征加上 λ×控制残差。
2. 弱了不跟，强了僵硬，噪声会被放大。
3. 先清输入：预处理质量、分辨率和坐标对齐优先。
4. 再调时序：早期定结构，后期释放纹理自由度。
5. 多目标评测：控制一致、文本对齐、视觉质量与多样性一起看。