AmyangXYZ/reze-mipo

해결하는 문제

Reze MiPo는 웹캠을 사용하여 MMD(MikuMikuDance) 캐릭터를 실시간으로 제어할 수 있는 모션 캡처 시스템입니다. 복잡한 설정이나 특정 T포즈가 필요 없으며, 전신, 손, 얼굴 표정을 기록하여 .vmd 애니메이션 파일로 내보낼 수 있습니다. 이 파일은 MMD 소프트웨어에서 사용할 수 있습니다.

작동 방식

시스템은 웹워커 내에서 실행되는 MediaPipe HolisticLandmarker를 사용하여 웹캠 영상에서 3D 포인트를 감지합니다. 이후 사용자 정의 솔버를 통해 이러한 포인트를 MMD 전용 뼈 회전(쿼터니언)과 모프(블렌드쉐이프)로 변환합니다.

주요 기술적 구현 사항:

• 자동 캘리브레이션: 모델의 기본 자세에 자동으로 캘리브레이션되며, 수동 설정 없이 어떤 PMX 모델과도 호환됩니다.
• 스윙-트위스트 분해: 반짝임과 노이즈를 줄이기 위해 뼈 회전을 스윙과 트위스트로 분리하고, 트위스트에 별도의 필터를 적용합니다.
• 고급 필터링: 부드러움을 위해 One-Euro 필터를 사용하고, 내보낼 파일에 대해 지터를 줄이기 위해 Savitzky-Golay 필터를 적용하며, 랜드마크의 Z채널에는 특정 저역통과 필터를 적용합니다.
• 충돌 회피: 모델 자체의 물리 캡슐을 사용하여 팔이 캐릭터의 가슴을 뚫지 않도록 합니다.
• 시간 보간: 캡처 속도가 30Hz일 때도 60FPS의 부드러운 움직임을 보간하여 제공합니다.

대상 사용자

고가의 하드웨어 없이 빠르고 간편하게 인간의 움직임을 캡처하여 고품질 MMD 애니메이션으로 변환하고 싶은 디지털 아티스트, MMD 애니메이터, 콘텐츠 크리에이터에게 적합합니다.

주요 특징

• 전신 캡처: 몸, 양손(각각 21점), 얼굴을 동시에 추적합니다.
• 설정 없이 바로 사용: 로드 시 기본 자세에 자동 캘리브레이션되므로, 어떤 PMX 모델과도 즉시 사용 가능합니다.
• 브라우저 기반: WebGPU로 렌더링하고 MediaPipe로 감지하여 브라우저에서 완전히 작동합니다.
• VMD 내보내기: .vmd 파일로 저장되며, 어떤 기계에서 생성된 파일과 동일한 형식입니다.
• 고정밀 움직임: 전완의 비틀림, 어깨 높낮이, 척추 곡선을 포함하여 더 자연스러운 움직임을 구현합니다.