zai-org/SCAIL-2

해결하는 문제

SCAIL-2는 스켈레톤 맵과 같은 중간 포즈 표현에 의존하는 기존 캐릭터 애니메이션의 한계를 해결합니다. 이는 복잡한 움직임, 비인간 드라이빙 소스(예: 동물), 아이덴티티 일반화에 어려움을 겪는 경우가 많습니다. SCAIL-2는 비디오 내 캐릭터 애니메이션과 캐릭터 교체를 위한 더 유연한 엔드투엔드 시스템을 제공하는 것을 목표로 합니다.

작동 방식

SCAIL-2는 특정 마스킹 채널과 전용 RoPE 설계를 갖춘 통합 모션 전달 인터페이스를 사용하여 중간 포즈 표현을 우회합니다. 이 모델은 SCAIL-Preview, Wan-Animate, MoCha 등의 다른 모델에서 합성한 60K개의 모션 쌍을 "리저브 드라이빙" 접근법으로 훈련하여 유기적 기능을 개발했습니다. 시스템은 애니메이션 모드(엔드투엔드 또는 포즈 기반)와 교체 모드를 모두 지원합니다. 또한 입술과 눈의 동기화를 개선하고 손의 왜곡을 줄이기 위해 편향 인식 DPO(Direct Preference Optimization)를 도입했습니다.

대상 사용자

AI 기반 비디오 생성, 캐릭터 애니메이션, 비디오 편집 작업을 하는 개발자 및 크리에이터에게 적합합니다. 고정밀 모션 전달과 캐릭터 교체 기능이 필요한 분들께 추천합니다.

주요 특징

• 엔드투엔드 애니메이션: 스켈레톤 맵에 의존하지 않고 애니메이션을 지원하여 동물 기반 시나리오도 가능합니다.
• 캐릭터 교체: 비디오 내 캐릭터를 참조 이미지로 교체 가능하며, 자연스러운 조명과 그림자 혼합을 보장하는 Relighting LoRA 포함.
• 다중 참조 지원: 제로샷 다중 참조 생성을 통해 캐릭터의 추가 시각 정보(예: 다른 각도 또는 클로즈업) 제공 가능.
• 편향 인식 DPO: 동기화 및 세부 품질을 향상시키는 혁신적인 메커니즘 사용.
• ComfyUI 통합: ComfyUI 생태계 내에서 사용 가능.