KlingAIResearch/LivePortrait

해결하는 문제

LivePortrait는 효율적이고 고품질의 초상화 애니메이션을 생성하도록 설계되었습니다. 사용자는 드라이빙 비디오 또는 이미지를 사용하여 정지된 초상화 이미지(사람, 고양이 또는 개)에 애니메이션을 부여할 수 있으며, 결과 애니메이션의 사실성과 제어 가능성을 보장합니다.

작동 원리

이 시스템은 초상화 워핑 렌더러와 키포인트 검출을 사용합니다. 두 가지 주요 모드인 인간 모드와 동물 모드(키포인트 검출을 위해 X-Pose 프레임워크 활용)를 지원합니다. 사용자는 소스 이미지 또는 비디오와 동작을 전달할 드라이빙 비디오를 제공할 수 있습니다. 또한 이 프로젝트는 "모션 템플릿"(.pkl 파일)을 지원하여 추론 속도를 높이고, 최종 렌더링 시 드라이빙 비디오가 필요하지 않게 하여 개인정보를 보호합니다.

대상 사용자

이 도구는 비디오 크리에이터, 스타트업, 소셜 미디어 플랫폼(Kuaishou, Douyin, WeChat Channels 등)을 위한 애플리케이션을 구축하는 개발자 또는 AI 기반 얼굴 애니메이션 및 초상화 편집에 관심이 있는 분들을 위한 것입니다.

주요 특징

• 다중 종 지원: 사람, 고양이, 개에 모두 작동합니다.
• 교차 플랫폼 호환성: Linux, Windows, macOS (Apple Silicon)를 지원합니다.
• 교차 모달 드라이빙: 비디오-to-비디오(v2v) 및 이미지 기반 애니메이션을 모두 지원합니다.
• 정밀한 제어: Gradio 인터페이스를 통한 영역 제어 및 정밀한 초상화 편집 기능을 포함합니다.
• 효율성: 지원되는 시스템에서 torch.compile 옵션을 통해 추론 속도를 20-30% 향상시킵니다.