统一的多模态理解与生成模型。
Janus 是一种新颖的自回归框架，将多模态理解与生成统一起来。它通过将视觉编码解耦为独立路径，解决了以往方法的局限性，同时仍采用单一统一的Transformer架构进行处理。这种解耦不仅缓解了视觉编码器在理解与生成任务中角色之间的冲突，也增强了框架的灵活性。Janus 在性能上超越了以往的统一模型，并在多项任务上达到或超过专用模型的水平。Janus 的简洁性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选。

JanusFlow 提出了一种极简架构，将自回归语言模型与先进的生成建模方法——修正流（rectified flow）相结合。我们的关键发现表明，修正流可以轻松地在大规模语言模型框架内进行训练，无需复杂的架构修改。大量实验表明，JanusFlow 在各自领域内与专用模型表现相当甚至更优，同时在标准基准测试中显著超越了现有的统一模型方法。这项工作为更高效、更通用的视觉-语言模型迈出了重要一步。

Janus-Pro 是前一工作的进阶版本。具体而言，Janus-Pro 引入了优化的训练策略、更丰富的训练数据以及更大规模的模型扩展。得益于这些改进，Janus-Pro 在多模态理解以及文本到图像指令遵循能力方面取得了显著提升，同时提高了文本到图像生成的稳定性。