QuanjianSong/FashionChameleon

해결하는 문제

FashionChameleon은 비디오 생성에서 실시간 인터랙티브 인체-의상 커스터마이징이라는 과제를 해결합니다. 비디오 속 인물의 의상을 고품질과 일관성을 유지하면서 전환할 수 있으며, 기존 커스터마이징 방식보다 훨씬 빠른 속도를 달성합니다.

작동 원리

Wan2.2-TI2V-5B 모델을 기반으로 구축된 이 프레임워크는 세 가지 주요 기술 구성 요소를 사용합니다.

1. In-Context Learning Teacher: 맞춤형 이미지-비디오(I2V) 사전 지식과 일치하지 않는 참조 의상 쌍을 사용하여 학습된 교사 모델로, 의상 전환을 처리합니다.
2. Streaming Distillation: 컨텍스트 학습과 Gradient-Reweighted DMD (Distribution Matching Distillation) 접근 방식을 사용합니다. 이 방식은 보상 모델을 사용하여 자기 회귀 과정에서 그래디언트를 동적으로 재가중치하여 시퀀스의 후속 프레임이 품질과 일관성을 유지하도록 합니다.
3. KV-Cache Rescheduling: 특정 의상 전환 학습 데이터 없이도 생성 과정 중에 인터랙티브한 다중 의상 커스터마이징을 가능하게 하는 학습 불필요 메커니즘입니다.

대상 사용자

이 프로젝트는 AI 기반 패션, 가상 피팅, 실시간 비디오 합성을 연구하는 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• 실시간 성능: 단일 H200 GPU에서 720p 비디오를 23.8 FPS로 생성합니다.
• 인터랙티브 커스터마이징: 비디오 생성 중에 즉석에서 의상을 전환하는 기능을 지원합니다.
• 일관성 향상: 그래디언트 재가중치를 사용하여 외삽 프레임에서의 품질 저하를 방지합니다.
• 고효율: 기존 커스터마이징 방식보다 30배에서 180배 더 빠르다고 주장합니다.