Google EditBench

EditBench 是一个针对文本引导图像修复的系统性基准。EditBench 在自然图像和生成图像上评估对象、属性和场景方面的修复效果。通过在 EditBench 上进行广泛的主观评价，我们发现训练过程中使用对象掩码能全面提升文本与图像的一致性；总体而言，这些模型在物体渲染方面优于文本渲染，且对材质/颜色/尺寸等属性的处理优于对数量/形状等属性的处理。

用于文本引导图像修复评估的 EditBench 数据集包含 240 张图像，其中 120 张为生成图像，120 张为自然图像。生成图像由 Parti 合成，自然图像来自 Visual Genome 和 Open Images 数据集。EditBench 涵盖了丰富的语言表达、图像类型以及文本提示的具体程度（即简单、丰富和完整描述）。每个样本包含：(1) 掩码输入图像，(2) 输入文本提示，(3) 高质量输出图像，作为自动度量指标的参考。为揭示不同模型的相对优劣势，EditBench 的提示设计聚焦于三个维度的细粒度细节测试：(1) 属性（如材质、颜色、形状、大小、数量）；(2) 对象类型（如常见、稀有、文本渲染）；(3) 场景（如室内、室外、写实或绘画风格）。为探究不同提示规格对模型性能的影响，我们提供三种文本提示类型：单一属性描述（Mask Simple）、多属性描述（Mask Rich）——或整图描述（Full Image）。其中 Mask Rich 特别考察模型处理复杂属性绑定与包含的能力。