aimagelab/multimodal-garment-designer

해결하는 문제

이 프로젝트는 단순한 가상 착용을 넘어 패션 이미지 편집의 과제를 해결합니다. 디자이너는 멀티모달 프롬프트를 기반으로 인간 중심의 패션 이미지를 생성할 수 있으며, 옷이 인체와 상호작용하는 방식을 제어하여 컨셉에서 구현까지 디자인 비전을 전달할 수 있습니다.

작동 방식

이 시스템은 인간 중심의 잠재 확산 모델 아키텍처를 사용합니다. 텍스트 설명, 인체 포즈, 의류 스케치 등의 멀티모달 입력을 따라 이미지를 생성합니다. 이를 지원하기 위해 저자들은 Dress Code 및 VITON-HD 데이터셋을 반자동으로 수집된 멀티모달 주석으로 확장했습니다.

대상 사용자

이 도구는 주로 패션 디자이너와 컴퓨터 비전 연구자를 대상으로 하며, 다양한 제어 입력을 사용하여 사실적인 패션 일러스트레이션을 만들고 의류 이미지를 편집하려는 사람들을 위한 것입니다.

주요 특징

• 멀티모달 제어 : 텍스트, 신체 포즈, 의류 스케치의 조합을 지원하여 이미지 생성을 안내합니다.
• 잠재 확산 기반 : 패션 영역에 잠재 확산 모델을 적용하여 현실감과 일관성을 향상시킵니다.
• 상세한 데이터셋 : 멀티모달 주석이 포함된 Dress Code 및 VITON-HD 데이터셋의 확장 버전을 제공합니다.
• 사전 학습 모델 : torch.hub를 통해 사용 가능한 모델과 체크포인트를 제공하여 구현을 용이하게 합니다.