W.A.L.T Video Diffusion

W.A.L.T. 是一种基于Transformer的扩散建模方法，用于生成逼真的视频。它采用因果编码器将图像和视频压缩到统一的潜在空间，并使用窗口注意力架构实现联合的空间与时空生成建模。该设计无需分类器自由引导，即可在视频（UCF-101 和 Kinetics-600）和图像（ImageNet）生成基准上达到顶尖性能。我们还采用三模型级联结构进行文本到视频生成，可生成分辨率为512×896、帧率为每秒8帧的视频。