视频扩散模型如何保证时序一致性？
简化版
如果逐帧独立做图像扩散，每帧随机噪声和去噪误差都不同，会出现纹理闪烁、身份漂移和物体形变。视频扩散模型通过时空注意力、3D 卷积或运动模块，让相邻帧交换信息，并结合共享噪声、参考帧、光流和相机运动条件保持一致。
一致性不能靠把所有帧做得相同；模型还要生成合理运动。控制太强会造成画面冻结，控制太弱又会闪烁。长视频通常分片生成，并在重叠帧上做条件复用和融合。
视频质量的核心权衡是“内容随时间稳定”与“运动随时间真实”，二者必须同时评测。
详细版
视频 latent 可表示为 [B,C,T,H,W]。模型除了空间注意力，还在时间维处理同一空间位置或跨帧 Token：
spatial attention: 每帧内部建模 H×W
temporal attention: 跨 T 帧建模对应特征
3D convolution: 在 T×H×W 邻域提取运动模式若 16 帧、每帧 1024 个空间 Token，完全时空注意力对 16×1024=16384 Token 做平方计算，成本很高。因此常分解为空间注意力与时间注意力，或使用局部窗口。
| 方法 | 主要作用 | 局限 |
|---|---|---|
| 时序注意力 | 建立远近帧依赖 | 显存随帧数增长 |
| 3D 卷积/运动模块 | 建模局部运动 | 长距离依赖有限 |
| 光流 Warp 约束 | 对齐相邻帧内容 | 遮挡和大运动下不准 |
| 共享/相关噪声 | 降低随机闪烁 | 过强会减少运动多样性 |
| 参考帧条件 | 保身份和风格 | 可能锁死姿态与构图 |
完整版教学
1. 为什么逐帧生成会闪烁
每帧使用独立噪声时，模型可能为同一衣服生成不同纹理，为同一张脸生成不同细节。单帧都合理，连续播放却会跳变。
即使固定相同 Seed，不同帧条件和运动内容也会让轨迹分叉；完全复用噪声又可能让所有帧过于相似，形成冻结画面。
2. 时空网络如何共享信息
视频模型常从图像模型扩展，在空间层之间插入时间层。空间模块保留强图像先验，时间模块学习运动与一致性。
latent video
-> spatial block per frame
-> temporal attention / motion block
-> spatial block
-> ...这种分解比完整时空注意力便宜，也便于从预训练图像权重初始化。
3. Temporal Attention 在关注什么
一种做法把每个空间位置的 T 帧特征组成序列，让它关注前后帧。真实运动会让对象跨位置移动，因此更强方法还会结合运动轨迹、可变形注意力或跨空间时间窗口。
长镜头中全时间注意力成本高，可用局部窗口加少量全局 Token，但跨窗口身份保持会更难。
4. 共享噪声为何能减少闪烁
可让相邻帧初始噪声相关：
ε_t = ρ ε_shared + √(1-ρ²) ε_independent,t当 ρ=0，各帧独立；接近 1 时纹理更一致，但运动和多样性可能不足。实际还可沿估计光流 Warp 前一帧噪声，使随机纹理随对象移动。
噪声相关性只是稳定随机细节，不能替代模型对遮挡、形变和物理运动的理解。
5. 光流一致性如何定义
若从帧 t 到 t+1 的光流为 F，可以 Warp 前一帧再与后一帧比较：
L_temporal = M_valid ⊙ |Warp(I_t, F) - I_{t+1}|M_valid 屏蔽遮挡和出画区域。没有 Mask 时，新出现内容会被错误要求复制前一帧，造成拖影。
6. 身份与外观如何长期保持
短期相邻一致不保证 10 秒后还是同一人物。可通过参考图身份 Embedding、首帧/关键帧条件、跨帧 Memory 和角色 LoRA维持长期特征。
| 条件 | 保持内容 | 风险 |
|---|---|---|
| 首帧参考 | 初始构图与身份 | 时间越长影响越弱 |
| 多关键帧 | 分段锚定外观 | 关键帧间可能突变 |
| 身份 Adapter | 人脸特征 | 大姿态和遮挡下漂移 |
| 角色 LoRA | 训练内身份分布 | 过拟合服装和背景 |
通常需要多种方法组合，并对转身、遮挡后重现等难例评测。
7. 为什么过强一致性会让视频冻结
如果时序损失或参考帧权重过高，最容易满足约束的方式是不产生运动。像素时序误差很低，但视频失去动态。
因此还要评估运动幅度、光流分布和动作条件遵循度。摄像机静止场景与奔跑场景不应使用同一运动期望。
8. 长视频为何通常采用滑动窗口
一次生成数百帧会超出显存和训练长度。滑窗方案每次生成例如 16 帧，相邻窗口重叠 4 帧，并用前窗 latent、关键帧或特征作为后窗条件。
window 1: frames 0..15
window 2: frames 12..27
window 3: frames 24..39重叠区可做 latent 锚定或加权融合。窗口边界仍可能出现运动速度和颜色跳变，需要专门回归。
9. 训练数据对时序能力有什么影响
视频数据需要正确帧率、镜头切分和文本描述。把镜头切换当成连续运动训练，会教模型产生突变；帧率混乱会让同一动作速度分布不一致。
数据清洗应检测重复帧、黑帧、水印、场景切换和音画错配。Caption 还要描述动作和相机运动，而不只是静态物体。
10. 如何评测时序一致性
单帧 FID/CLIP 不足以评价视频。可组合：
FVD / 视频特征距离：整体视频分布
Warp error：光流对齐后的相邻帧差异
身份相似度曲线：角色是否随时间漂移
CLIP temporal consistency：语义稳定程度
运动指标：光流幅度、动作条件命中
人评：闪烁、拖影、形变、物理合理性指标要按镜头长度、运动速度、遮挡和相机移动切片。
11. 推理优化有哪些特殊点
显存主要受帧数、空间分辨率和时空 Attention 影响。可用时间分块、Attention Slicing、KV Cache 或低分辨率先生成再视频超分。
但逐块 VAE 解码和分帧后处理可能重新引入闪烁，颜色校正和超分模型也必须具备时间一致性。
12. 常见误区与追问
- 误区：每帧图像质量高，视频质量就高。 独立好帧连起来仍可能严重闪烁。
- 误区：所有帧用同一噪声就能解决一致性。 它可能让画面冻结，也不能处理运动和遮挡。
- 误区：时序误差越低越好。 静止视频误差最低，却可能完全不满足动作要求。
- 误区：光流约束适用于所有像素。 遮挡、新出现区域和大运动必须使用有效 Mask。
- 误区：短视频表现好就能直接扩到长视频。 误差会跨窗口累积，身份与颜色逐渐漂移。
- 追问：怎样处理镜头切换？ 显式检测或条件化 Shot Boundary，在切换处重置部分时序状态。
- 追问：如何区分对象运动和相机运动？ 加相机轨迹条件，并分别评测背景流与主体运动。
13. 加强记忆
- 问题来源：独立随机性和逐帧误差造成闪烁与漂移。
- 模型方法：时序注意力、3D 卷积和运动模块共享跨帧信息。
- 辅助约束：相关噪声、光流、关键帧和身份条件。
- 关键权衡：一致性过弱会闪，过强会冻。
- 长视频方案：滑窗加重叠锚定，并专门检查窗口边界。