aimagelab/multimodal-garment-designer

解決する課題

このプロジェクトは、単純なバーチャル試着を超えて、ファッション画像編集の課題に取り組みます。デザイナーは、マルチモーダルなプロンプトに基づいて人間中心のファッション画像を生成でき、衣服が人体とどのように相互作用するかを制御することで、コンセプトから実現までデザインビジョンを伝えることができます。

仕組み

このシステムは、人間中心の潜在拡散モデルアーキテクチャを使用します。テキスト記述、人体のポーズ、衣服のスケッチなどのマルチモーダル入力に従って画像を生成します。これをサポートするために、著者らはDress CodeデータセットとVITON-HDデータセットを、半自動で収集したマルチモーダルアノテーションで拡張しました。

対象者

このツールは、主にファッションデザイナーとコンピュータビジョンの研究者を対象としており、多様な制御入力を使用して現実的なファッションイラストを作成し、衣服の画像を編集したいと考えています。

ハイライト

• マルチモーダル制御：テキスト、身体のポーズ、衣服のスケッチの組み合わせをサポートし、画像生成をガイドします。
• 潜在拡散ベース：潜在拡散モデルをファッション領域に適用し、リアリズムと一貫性を向上させます。
• 詳細なデータセット：マルチモーダルアノテーション付きのDress CodeおよびVITON-HDデータセットの拡張版を提供します。
• 事前学習モデル：torch.hubを介して利用可能なモデルとチェックポイントを提供し、実装を容易にします。