facebookresearch/tuna-2

解決する課題

Tuna-2は、画像の処理にVariational Autoencoders (VAEs)や表現エンコーダのような重い視覚エンコーディングコンポーネントに通常依存している、統合マルチモーダルモデル (UMM) の複雑さに対処します。理解と生成の両方のタスクにおけるパフォーマンスを向上させながら、アーキテクチャを簡素化することを目指しています。

仕組み

このプロジェクトは、視覚エンコーディングレイヤーを段階的に削除することでアーキテクチャを進化させます。オリジナルのTunaはVAEを使用し、Tuna-Rは表現エンコーダを使用していましたが、Tuna-2は両方を削除し、直接的なパッチ埋め込みレイヤーを利用して生の画像入力をピクセル埋め込みとして処理します。この合理化されたアプローチにより、モデルは視覚データをより直接的に処理できるようになり、マルチモーダルベンチマークにおいて従来モデルを上回る性能を発揮します。

対象者

統合マルチモーダルモデルに取り組んでいる研究者や開発者、特に効率的な画像生成 (text-to-image)、画像編集、および従来のビジョンエンコーダをバイパスするネイティブなマルチモーダルアーキテクチャの開発に関心のある人々。

ハイライト

• 統合アーキテクチャ: 単一のフレームワーク内で理解と生成の両方を処理します。
• ピクセル空間処理: 複雑なビジョンエンコーダを、生の画像に対する直接的なパッチ埋め込みに置き換えます。
• 多才なタスク: text-to-image生成と画像編集をサポートします。
• ビデオへの拡張性: ビデオ生成モデルのトレーニングと推論のための完全なコードベースが含まれています。