Janus

统一的多模态理解与生成模型。
Janus 是一种新颖的自回归框架，实现了多模态理解与生成的统一。它通过将视觉编码解耦为独立路径，克服了以往方法的局限性，同时仍采用单一统一的 Transformer 架构进行处理。这种解耦不仅缓解了视觉编码器在理解与生成任务间的冲突，还提升了框架的灵活性。Janus 超越了先前的统一模型，在性能上达到或超过特定任务模型的表现。Janus 的简洁性、高灵活性和高效性使其成为下一代统一多模态模型的有力候选。
JanusFlow 提出了一种极简架构，将自回归语言模型与修正流（rectified flow）——一种先进的生成建模方法——相结合。我们的关键发现表明，修正流可直接在大型语言模型框架中训练，无需复杂的结构修改。大量实验表明，JanusFlow 在各自领域内表现与专用模型相当或更优，且在标准基准测试中显著优于现有统一方法。该工作推动了更高效、更通用的视觉-语言模型的发展。
Janus-Pro 是此前工作 Janus 的升级版本。具体而言，Janus-Pro 引入了优化的训练策略、扩展的训练数据，并实现模型规模的扩大。凭借这些改进，Janus-Pro 在多模态理解及文本到图像指令遵循能力方面取得显著进步，同时提升了文本到图像生成的稳定性。