xg-chu/GAGAvatar

해결하는 문제

GAGAvatar은 단일 이미지에서 제어 가능한 3D 헤드 아바타를 생성하는 문제를 해결합니다. 한 번의 이미지로 사람의 머리 부분을 3D 재구성할 수 있으며, 실시간 재현이 가능하여 다른 사람의 움직임이나 표정으로 아바타를 제어할 수 있습니다.

작동 방식

이 프로젝트는 3D 가우시안 스플래터링(3DGS)을 사용하여 머리 부분을 재구성합니다. 표준 3DGS 렌더러를 개선하여 가우시안이 32차원의 특징을 유지할 수 있도록 하여, 더 유연하고 일반화 가능한 재구성을 가능하게 합니다. 시스템은 타겟 인물의 단일 이미지와 드라이버 소스(이미지 또는 비디오)를 입력으로 받아, 트래킹 시스템을 통해 드라이버의 움직임을 아바타에 매핑합니다.

대상 사용자

3D 비전, 디지털 인간, 실시간 애니메이션 분야에서 연구하거나 개발하는 연구자 및 개발자, 그리고 대면 재현 기술에 관심 있는 사람들에게 적합합니다.

주요 특징

• 1샷 재구성: 단일 이미지로 3D 헤드 아바타를 생성합니다.
• 실시간 성능: 헤드 아바타의 고속 재현을 지원합니다.
• 3DGS 기반: 가우시안 스플래터링을 활용해 효율적인 렌더링을 구현합니다.
• 제어 가능: 이미지 또는 비디오로 헤드 아바타를 애니메이션화할 수 있습니다.