aimagelab/multimodal-garment-designer

解决的问题

该项目超越了简单的虚拟试穿，解决了时装图像编辑的挑战。它使设计师能够基于多模态提示生成以人为中心的时装图像，通过控制服装与人体的交互方式，从概念到实现传达设计愿景。

工作原理

该系统采用以人为中心的潜在扩散模型架构。它通过遵循多模态输入（包括文本描述、人体姿势和服装草图）来生成图像。为此，作者使用半自动收集的多模态标注扩展了Dress Code和VITON-HD数据集。

适用对象

此工具主要面向时装设计师和计算机视觉研究人员，他们希望使用各种控制输入来创建逼真的时装插画并编辑服装图像。

亮点

• 多模态控制：支持文本、身体姿势和服装草图的组合来指导图像生成。
• 潜在扩散基础：将潜在扩散模型应用于时装领域，以提高真实感和一致性。
• 详细的数据集：提供带有模态标注的Dress Code和VITON-HD数据集的扩展版本。
• 预训练模型：通过torch.hub提供模型和检查点，便于实现。