shallowdream204/BitDance

解決する課題

BitDanceは、視覚生成における離散自己回帰 (AR) モデルの一般的なボトルネック、特にトークナイザーの再構成精度の低さ、巨大な語彙からのサンプリングの困難さ、およびトークンごとの予測による生成速度の遅さを解決します。

仕組み

BitDanceは、3つの主要な革新を組み合わせたデコーダーのみのアーキテクチャを採用しています：

1. 大語彙バイナリトークナイザー：再構成品質を向上させるためにバイナリトークンを使用して視覚データを表現するトークナイザー。
2. バイナリ拡散ヘッド (Binary Diffusion Head)：大規模な離散空間内での効率的なサンプリングを可能にする専用ヘッド。
3. Next-Patch Diffusionパラダイム：一度に1つのトークンを予測するのではなく、複数の視覚トークンを並列（ステップごとに最大64個）に予測することで、生成プロセスを大幅に加速します。

対象ユーザー

マルチモーダル生成モデルに取り組む研究者や開発者向けに設計されており、特に標準的な自己回帰モデルよりも高速な推論速度で、高解像度かつフォトリアルな画像を生成したい方に最適です。

ハイライト

• 高速性：標準的な次トークン予測ARモデルと比較して30倍以上の高速化を実現。
• 並列予測：1ステップで最大64個の視覚トークンを予測可能。
• スケーラブルなアーキテクチャ：大規模なマルチモーダルトークンで学習された、14Bパラメータを持つオープンソースの基盤モデル。
• 高解像度：最大1024pxのフォトリアルな画像の生成をサポート。