dc-ai-projects/DC-Gen

何を解決するか

DC-Genは、現代の高解像度ビジュアル拡散モデルに関連する低スループットと高計算コストの問題に対処します。特に、ネイティブ4K画像生成のための訓練および推論コストが非常に高くなる問題、および自動エンコーダーを変更するたびに拡散モデルを再訓練しなければならない非効率性を解決します。

仕組み

DC-Genは、軽量な事後訓練を用いて、事前に訓練された拡散モデルを極めて圧縮された潜在空間に移行する加速フレームワークです。『埋め込み整合（Embedding Alignment）』と呼ばれるプロセスを採用し、ベースモデルの知識を新しい潜在空間に移行することで、初期段階で拡散モデルの重みを微調整する必要なく、正しい意味を維持できます。その後、LoRAの微調整により品質を完全に回復します。このアプローチによりトークンの重複が削減され、著しく高速な推論とネイティブなスーパーレゾリューション機能が可能になります。

対象ユーザー

このプロジェクトは、高解像度画像（最大4K）や動画を、ベースモデルの視覚的品質やテキストレンダリング能力を損なうことなく、より効率的に生成したい研究者や開発者向けです。

主な特徴

• 劇的な高速化: H100 GPU上で4K解像度で最大53.8倍の高速推論を達成。
• 多様な応用: テキストから画像、テキストから動画、画像から動画、画像編集のタスクで検証済み。
• ネイティブ4K対応: FLUXやZ-Imageのようなモデルに対して、従来はコストが高すぎて実現できなかったネイティブスーパーレゾリューション画像生成を可能に。
• 効率的な適応: 自動エンコーダーの変更に伴う完全再訓練を回避し、Embedding AlignmentとLoRA微調整を用いて効率的に適応。