DiffSynth-Studio: 最先端の生成モデルの探索とトレーニングのためのオープンソース拡散エンジン

何を解決するか

DiffSynth-Studioは、生成AIの探索と実装の技術的障壁を下げるために設計されたオープンソースの拡散モデルエンジンです。研究者や開発者が、テキストから画像、画像編集、オーディオ・ビデオ生成を含む、複数のモダリティにわたる最先端の拡散モデルを実験するための統一されたフレームワークを提供します。

仕組み

このエンジンは、最先端のモデル（FLUX.2、Z-Image、Wanなど）を幅広くサポートする柔軟なコードベースとして機能し、推論とトレーニングの両方のための専門的なツールを提供します。レイヤーレベルのディスクオフロードなどの高度なVRAM管理技術を実装しており、コンシューマー向けハードウェアで大規模なモデルを使用することを可能にします。トレーニングについては、Split Training（データ処理と勾配のバックプロパゲーションを分離する）やCPU Offload Trainingなどの専門的なモードを提供し、メモリ要件をさらに削減します。

対象者

主に、生成AI分野において積極的な技術探索を行い、「ワイルドなアイデア」を実装したいと考えている学術研究者や開発者を対象としています。

ハイライト

• マルチモーダルサポート: 画像生成、画像編集、オーディオ・ビデオ生成、およびテキストから音楽への生成をサポートします。
• VRAMの最適化: コンシューマー向けGPUで大規模なモデルをサポートするために、CPU offload trainingおよびレイヤーレベルのディスクオフロードを含んでいます。
• 高度なトレーニングフレームワーク: Split Training、Differential LoRAトレーニング、およびFP8精度サポートを特徴としています。
• Diffusion Templates: 制御可能な生成モデルのトレーニングを簡素化するために設計されたプラグインフレームワークです。
• Image-to-LoRA: 数時間のトレーニングではなく、単一の推論ステップで画像スタイルのLoRAを生成できるパラダイムを実装しています。