worldbench/DanceOPD

解決する課題

DanceOPDは、画像生成モデルにおける「機能干渉」の問題に対処します。テキストから画像への生成、ローカル編集、グローバルなスタイル変換など、複数の能力を単一のモデルに統合しようとすると、一方を改善すると他方が低下することがよくあります。DanceOPDは、タスク固有のトレーニングコードや複雑な報酬モデルを必要とせずに、これらの多様な機能を1つのコンパクトな学生モデルに統合する方法を提供します。

仕組み

このシステムは、各機能を凍結された教師モデルによって提供される「速度場」として扱います。トレーニング中、学生モデルはロールアウト（状態の生成）を実行し、システムはその特定の状態における正しい速度を対応する教師モデルに問い合わせます。その後、学生モデルは単純な速度MSE目的関数を使用して、教師の出力と一致するように更新されます。

主な技術的特徴は以下の通りです：

• オンポリシーフィールドクエリ (On-policy field query)：教師はオフラインデータではなく、現在の学生が実際に訪れた状態を監督します。
• ハードルーティングマッチング (Hard-routed matching)：各トレーニングサンプルは、意味的に有効な1つの教師に正確に割り当てられ、異なる機能の曖昧な平均化を防ぎます。
• セマンティックサイドクエリ (Semantic-side query)：デフォルトでは、効率を維持するために、ロールアウトごとに単一の低ノイズクエリ状態を使用します。
• バックエンドの拡張性：SD3.5やZ-Imageを含む、複数のフローマッチングバックボーンをサポートしています。

対象読者

このプロジェクトは、高品質な編集やプロンプトへの忠実度など、複数の専門的な機能を単一のデプロイ済みモデルに統合したい、フローマッチング画像生成器を扱うAI研究者および開発者を対象としています。

ハイライト

• 機能の融合：T2I、ローカル編集、グローバル編集を、単一のソースに崩壊させることなく統合することに成功しました。
• 効率的なロールアウト：query_prefixモードが含まれており、ロールアウトのフォワードパスを最大31.7%削減できます。
• 単純な目的関数：直接的な速度MSEを使用し、敵対的クリティックや報酬モデルを不要にします。
• 柔軟なトレーニング：danceopd（シングルクエリODE）、diffusionopd（密なODE-KL）、flowopd（SDE + PPO）の3つの手法を提供します。