lucidrains/transfusion-pytorch

何を解決するか

Transfusion-pytorch は、単一のマルチモーダルモデルが次に来るテキストトークンを予測（自己回帰的）し、画像や他のモダリティを拡散プロセスに似た方法で生成できるようにする Transfusion アーキテクチャの PyTorch 実装を提供します。異なるモダリティごとに別々のモデルを持つ問題を解決し、すべてを1つのトランスフォーマー基盤のフレームワークに統合します。

動作方法

このプロジェクトは、テンソルの型に基づいて異なるデータタイプを処理する統合トランスフォーマーを実装しています：torch.long はテキストトークン用、torch.float は連続的モダリティ用です。元論文の拡散プロセスの代わりに、生成品質を向上させるためにフローマッチングを使用しています。モデルは、画像などの生のモダリティデータと、トランスフォーマーが動作する潜在空間との変換を処理するためのカスタムエンコーダーとデコーダーをカスタマイズ可能にしています。

対象ユーザー

1つのモデル内でテキストと連続データ（画像、音声、ロボットの動作など）を交互に生成する必要がある、マルチモーダルAIモデルを開発している研究者や開発者。

特徴

• 統合アーキテクチャ：テキストの次トークン予測と連続モダリティのフローマッチングを1つのモデルに統合。
• マルチモダリティ対応：画像にとどまらず、異なる潜在次元を持つ任意の数のモダリティをサポート。
• 効率的なサンプリング：KVキャッシュと統合ODE軌道を用いて、並列バッチデコードでテキストとモダリティを交互に生成する sample_many を含む。
• カスタマイズ可能：カスタムモダリティエンコーダーとデコーダーの統合をサポート。
• 柔軟な生成：生成の開始時に特定のモダリティを強制することで、テキストデコードをスキップ可能。