facebookresearch/tuna-2

解决的问题

Tuna-2 解决了统一多模态模型 (UMM) 的复杂性问题，这些模型通常依赖于诸如变分自编码器 (VAEs) 或表示编码器等沉重的视觉编码组件来处理图像。其目标是在提高理解和生成任务性能的同时，简化架构。

工作原理

该项目通过逐步移除视觉编码层来演进架构。原始的 Tuna 使用 VAE，Tuna-R 使用表示编码器，而 Tuna-2 则将两者都移除了，利用直接的 patch embedding 层将原始图像输入作为像素嵌入进行处理。这种精简的方法使模型能够更直接地处理视觉数据，在多模态基准测试中表现优于其前代产品。

适用对象

致力于统一多模态模型研究的研究人员和开发人员，特别是那些对高效图像生成 (text-to-image)、图像编辑以及开发绕过传统视觉编码器的原生多模态架构感兴趣的人士。

亮点

• 统一架构：在单个框架内同时处理理解和生成任务。
• 像素空间处理：使用直接的 patch embeddings 取代复杂的视觉编码器来处理原始图像。
• 多功能任务：支持 text-to-image 生成和图像编辑。
• 可扩展至视频：包含用于视频生成模型训练和推理的完整代码库。