Minigpt-4

通过先进的大语言模型增强视觉-语言理解。 我们正在开发一个可在单张3090 GPU上运行的轻量化模型，您将能够在自己的机器上运行。请持续关注我们的GitHub页面以获取最新信息。

MiniGPT-4 仅使用一个投影层，将BLIP-2的冻结视觉编码器与冻结的LLM Vicuna对齐。 我们采用两阶段训练方式训练MiniGPT-4。第一阶段为传统预训练，使用约500万对图像-文本数据，在4块A100上训练10小时完成。第一阶段结束后，Vicuna已具备图像理解能力，但其生成能力受到严重影响。 为解决此问题并提升可用性，我们提出一种新方法，由模型自身与ChatGPT协作生成高质量图像-文本对。基于此，我们构建了一个总量仅3500对但质量极高的数据集。 第二阶段微调在该数据集上以对话模板进行，显著提升了生成可靠性与整体可用性。令人惊讶的是，该阶段计算效率极高，仅需单块A100运行约7分钟。 MiniGPT-4展现出诸多类似GPT-4的新兴视觉-语言能力。