NVlabs/FastGen

解決する課題

FastGenは、拡散モデルに通常伴う生成速度の遅さを解決します。大規模で複雑なモデルを、より小さく高速なバージョンに「蒸留」または圧縮し、大幅に少ないステップで高品質な画像、動画、音声を生成するためのフレームワークを提供します。

仕組み

PyTorch上に構築されたこのフレームワークは、さまざまな高速化および蒸留技術の中央ハブとして機能します。ユーザーは、trajectory matchingやdistribution matchingなどの手法を使用してモデルをトレーニングできます。このフレームワークは特定のネットワークアーキテクチャやデータ型に依存しない設計となっており、柔軟な構成システムを通じて、既存の幅広いモデル（FLUXやWanなど）やモダリティ（image-to-videoやvideo-to-videoなど）に適用可能です。

対象ユーザー

より高速な推論のためにモデルを最適化する必要がある、生成AIに取り組む研究者や開発者向けに設計されています。特に、大規模なトレーニング（20B+ パラメータ）を実装しようとしている方や、カスタムアーキテクチャやデータセットを標準化された高性能なトレーニングパイプラインに統合する必要がある方に最適です。

ハイライト

• テキストから画像への生成、画像から動画への生成、マルチモーダルな動画+音声など、多様な生成タスクをサポート。
• DMD2、flow maps、self-forcingなど、幅広い蒸留手法のライブラリを内蔵。
• DDPやFSDP2などの分散トレーニングツールを使用して大規模モデルにスケールアップ。
• ComfyUIとの統合を提供し、学生モデルのインタラクティブなリアルタイムテストが可能。
• 高度にモジュール化された設計により、新しいネットワークアーキテクチャやカスタムデータセットの追加が容易。