X-GenGroup/Flow-Factory

何を解決するか

Flow-Factory は、拡散モデルおよびフローマッチングモデルにおける強化学習（RL）をより簡単に実行できる統合フレームワークです。さまざまな RL アルゴリズムと報酬モデルを使用して、美しさ、テキスト-画像の整合性、テキストレンダリングなどの特定の成果を向上させるために、これらのモデルを標準化された方法で微調整する手段を提供します。

動作方法

このフレームワークはモデルとアルゴリズムを分離しており、ユーザーが多様な RL 技術をさまざまな生成モデルに適用できるようにしています。ポイントワイズ（独立したスコア）、ペアワイズ（比較）、グループワイズ（ランキングベース）の柔軟な報酬システムをサポートします。組み込みの報酬モデル（例：PickScore や CLIP）を活用できるほか、OpenAI互換 API を介してリモートの VLM-as-Judge サーバーに接続することも可能です。

対象ユーザー

テキストから画像、画像から画像、テキストから動画、音声付き動画モデルの出力品質を RL 微調整によって最適化したい、生成AIに取り組む研究者や開発者向けです。

主な特徴

• 広範なモデル対応：FLUX、Stable Diffusion 3.5、Wan2.1、MiniMax H3 など多数のモデルと互換性があります。
• 多様な RL アルゴリズム：GRPO、DPO、DPPO、DiffusionNFT など多数のアルゴリズムを実装しています。
• マルチモーダル対応：画像、動画、同期音声付き動画コンテンツの微調整をサポートします。
• 柔軟な報酬システム：組み込みの美的・整合性スコアリング機能に加え、複雑な推論報酬モデル（例：RationalRewards）もサポートします。
• 高速化：torch.compile および複数のアテンションバックエンド（Flash-Attention、xformers）と統合され、トレーニングを最適化しています。