ByteVisionLab/DreamLite

何を解決するか

DreamLiteは、モバイルデバイス上で直接高解像度の画像生成と編集を行うために設計されたコンパクトな拡散モデルです。最新のスマートフォン上で数秒で1024x1024の画像を生成または編集できる軽量なアーキテクチャにより、クラウド依存を排除します。

動作方法

本プロジェクトは、プルーニングされたモバイルU-Netバックボーン（0.39Bパラメータ）を使用し、潜在空間におけるコンテキスト内空間連結により、テキストから画像生成と画像編集のタスクを統合しています。高速性を実現するために、段階的ステップ蒸留を採用しており、「Mobile」バリアントはたった4ステップで推論を実行できます。Hugging Face Diffusersライブラリと互換性があり、デバイス上での展開に4ビット量子化をサポートしています。

対象ユーザー

外部サーバーに依存せずに、高速かつ高解像度の画像作成・編集を必要とする、オンデバイスAIアプリケーションの開発者や研究者向けです。

主な特徴

• 統合モデル: 1つのネットワークアーキテクチャでテキストから画像生成とテキストガイド付き画像編集の両方を処理します。
• 超高速推論: iPhone 17 Pro上で約3秒で1024x1024の画像を生成可能です。
• オンデバイスのプライバシー: クラウド依存なしに完全にローカルで動作します。
• カスタマイズ可能: ドメイン固有のデータセット向けにLoRA微調整をサポートしています。
• デプロイ準備完了: CoreMLおよびmlx-vlm量子化スクリプトを含む、完全なiOSデプロイリファレンスを提供しています。