文生图 Prompt 权重如何影响生成结果？

简化版

Prompt 权重用于增强或减弱某个文本概念对生成过程的影响。不同工具可能通过重复 Token、缩放文本嵌入或修改交叉注意力来实现，因此 (cat:1.3) 并不是所有模型都通用的标准语法。

权重只是在多个条件间重新分配影响力，不是把对象数量、位置或属性变成硬约束。权重过高会让文本嵌入偏离训练分布，常见结果是构图僵硬、颜色过饱和、概念互相污染。调参时应固定种子并逐项消融。

Prompt 权重表达的是“更偏向哪个语义方向”，不是“严格执行多少百分比”。

详细版

文生图模型先把文本 Token 编码为向量，再由 U-Net 或 DiT 的交叉注意力读取。概念权重可抽象为：

e'_i = w_i × e_i
Attention(Q,K,V) = softmax(QKᵀ/√d)V
K = E'W_K, V = E'W_V

缩放某个 Token 的嵌入会改变它对 Key/Value 的贡献，但 LayerNorm、文本编码器上下文混合和 Softmax 都会让最终影响不是线性的。权重 1.4 不代表该对象出现概率恰好增加 40%。

方法	改动位置	优点	局限
Token 重复	输入文本	兼容性较好	消耗长度，效果不可精确控制
Embedding 缩放	编码后向量	简单、连续可调	易偏离训练分布
Cross-attention 控制	去噪网络内部	可做分层、分步控制	实现复杂、模型相关
Prompt 分步切换	不同采样阶段	可区分构图与纹理	调度参数多，难复现

例如同时描述“红色汽车”和“蓝色天空”，提高 red car 权重可能强化主体，也可能把背景染红。需要通过固定 50～200 个 Prompt、多种子成对比较主体准确率、属性泄漏率和整体审美。

完整版教学

1. Prompt 从文本到图像经过哪些环节

文本先被 Tokenizer 切分，经文本编码器得到上下文化向量，再通过交叉注意力影响每一步去噪：

text -> tokens -> text encoder -> embeddings
                                 -> cross-attention at many layers/steps
latent noise --------------------> denoiser -> image

权重可能作用在其中不同位置，所以同样的 UI 语法在不同 Pipeline 中含义可能不同。

2. 为什么 Embedding 缩放不是线性概率控制

假设原向量为 e，简单实现将其变成 w·e。后续仍会经历线性投影、归一化、注意力 Softmax、残差连接和多层非线性。

当权重从 1.0 增至 1.2，效果可能温和；从 1.8 增至 2.0，却可能突然出现伪影。不能将权重解释成概率或像素占比。

3. 不同 Prompt 语法为什么不通用

括号、冒号权重、方括号和 BREAK 等通常是前端或 Prompt Parser 定义的语法，不是基础扩散模型天然理解的字符。

(portrait:1.3)
((portrait))
[portrait]

有的实现直接缩放最终嵌入，有的重新编码文本，有的用 Token 重复近似。迁移系统时应查看解析器输出，而不是只复制字符串。

4. Tokenizer 会如何改变加权范围

一个词可能被拆成多个子词。若只加权其中一个 Token，实际语义可能偏移；多词短语也需要明确权重作用于哪些位置。

文本还有最大长度。重复词或复杂语法会挤占 Token 预算，导致尾部重要描述被截断。调试时应输出 Token、位置和最终权重数组。

“界面看见完整 Prompt”不代表文本编码器看见全部内容；截断发生在 Tokenizer 之后。

5. 权重、CFG 与 Negative Prompt 的区别

控制项	主要作用	常见副作用
局部 Prompt 权重	调整某个概念的相对贡献	属性泄漏、概念竞争
CFG Scale	放大整体条件与基准条件差异	过饱和、构图僵硬
Negative Prompt	提供希望远离的条件方向	误伤关联概念

三者会相互作用。局部权重和 CFG 同时过高，相当于两次放大条件，通常更容易越出训练分布。

6. 为什么属性会绑定到错误对象

Prompt 中有“红色汽车和蓝色自行车”时，模型需要把两个颜色分别绑定到对象。提高“红色”权重可能只加强颜色概念，却没有增强正确的关系绑定，于是自行车也变红。

可以用更清晰的句法、分区条件、区域 Prompt 或 ControlNet 辅助。单纯继续提高词权重，往往只会放大错误关联。

7. 分步和分层权重有什么意义

去噪早期主要建立低频构图，后期逐渐补充纹理。某些系统允许权重随时间变化：

w(t) = 1.5,  t/T > 0.6   # 早期强调主体布局
w(t) = 1.0,  t/T <= 0.6  # 后期恢复自然细节

还可以只修改特定交叉注意力层，但这依赖模型架构。控制维度越多，越要保存完整配置并自动回归。

8. 如何调参而不陷入随机试图

先建立基线 Prompt，固定模型、VAE、Scheduler、步数、CFG 和种子。每次只改一个概念权重，例如测试 0.8、1.0、1.2、1.4、1.6。

对于 100 个 Prompt、每个 4 个种子，可得到 400 组配对样本。统计目标概念命中、属性绑定正确率、背景污染率和人类偏好，而不是挑最好的一张图。

9. 工程实现如何做数值保护

权重解析器应限制范围、拒绝 NaN/Infinity，并在归一化前后记录向量范数。过大权重可裁剪或提示用户。

weight = min(max(parsed_weight, 0.0), 2.0)
weighted = embedding * weight
weighted = preserve_mean_norm(weighted, embedding)

是否保持平均范数属于具体算法选择，但必须在版本说明中固定，否则同一 Prompt 在升级后不可复现。

10. 什么时候应该换更强控制方法

如果要求精确位置、轮廓、姿态或对象数量，Prompt 权重通常不够。可选区域条件、ControlNet、Reference Adapter、遮罩编辑或生成后检测重试。

权重适合软偏好，例如“更有油画感”“主体更突出”；结构约束应交给显式空间条件。

11. 常见误区与追问

误区：权重 1.5 表示出现概率增加 50%。 神经网络非线性使权重与概率没有这种对应关系。
误区：括号语法属于 Stable Diffusion 标准。 它通常由特定前端解析，跨工具可能失效。
误区：权重越高，Prompt 遵循度越好。 过高会偏离训练分布并放大伪影。
误区：提高颜色权重就能正确绑定对象。 权重强化概念，不保证关系绑定。
误区：只看一个种子的结果就能选参数。 随机方差可能大于参数收益，应做多种子配对。
追问：权重为什么会污染背景？ 概念嵌入通过全局交叉注意力影响多个空间位置。
追问：如何验证解析器生效？ 打印 Token、权重和嵌入范数，并用固定 latent 做消融。

12. 加强记忆

作用点：Token、Embedding、Attention 或采样时间段。
非线性：权重不是概率，也不是面积比例。
三者区别：局部权重调概念，CFG 调整体，Negative Prompt 给反方向。
控制边界：软语义可加权，硬空间约束用显式控制。
评测方法：固定其余配置，多 Prompt、多种子、逐项消融。

简化版

详细版