ButzYung/SystemAnimatorOnline

해결하는 문제

XR Animator는 단일 웹캠만으로 3D 아바타(MMD 또는 VRM 모델 등)를 실시간으로 제어할 수 있는 AI 모션 캡처 애플리케이션입니다. 고가의 모션 캡처 하드웨어가 필요 없으며, VTuber, 메타버스, 기타 3D 콘텐츠 제작에 있어 풀바디 트래킹을 저비용으로 접근 가능하게 합니다.

작동 방식

이 애플리케이션은 MediaPipe와 TensorFlow.js의 머신러닝 모델을 활용해 실시간 웹캠 영상에서 3D 자세를 감지합니다. 감지된 움직임은 실시간으로 3D 아바타에 매핑됩니다. 얼굴, 전신, 또는 둘 다의 조합과 손 움직임을 지원합니다.

대상 사용자

모션 캡처와 아바타 애니메이션에 접근 장벽을 낮추고 싶은 VTuber, 3D 아티스트, XR/AR 개발자에게 적합합니다.

주요 기능

• 다중 플랫폼 지원: 주요 브라우저 및 스마트폰과 호환되는 웹 앱과 Windows, Linux, macOS용 네이티브 데스크톱 앱 모두 제공.
• 포괄적인 트래킹: 풀바디 AI 모션 트래킹과 "Perfect Sync"/ARKit 호환 얼굴 트래킹(52개 블렌드쉐이프 지원)을 지원.
• 아바타 호환성: MMD 및 VRM 모델과 호환.
• 모션 내보내기/가져오기: 모션 캡처 데이터를 기록하고 VMD, BVH, glTF 형식으로 내보낼 수 있음.
• AR 모드: ARCore와 WebXR를 사용한 Android Chrome 브라우저에서 확장현실(AR) 지원.
• 외부 통합: VMC 프로토콜을 지원하여 VSeeFace 또는 Warudo(Electron 버전만)와 같은 VMC 대응 앱으로 애니메이션 데이터를 전송 가능.