perfanalytics/pose2sim

해결하는 문제

Pose2Sim은 인간과 동물용 마커리스 3D 운동 분석 워크플로우를 제공하며, 기존 마커 기반 모션 캡처(MoCap) 시스템의 저비용 대안 역할을 합니다. 스마트폰, 웹캠, GoPro와 같은 일반적인 하드웨어를 사용해 고정밀 3D 관절 각도와 골격 분석을 수행할 수 있으며, 로컬에서 실행되어 데이터 프라이버시를 보장합니다.

작동 방식

다중 카메라 시점의 2D 포즈 추정을 다단계 파이프라인을 통해 3D 운동 분석으로 변환합니다:

1. 포즈 추정: RTMPose(기본), DeepLabCut, 또는 기존 모델(OpenPose, AlphaPose)을 사용해 2D 키포인트를 추출합니다.
2. 캘리브레이션 및 동기화: 카메라 위치를 캘리브레이션하고 비디오 스트림을 동기화합니다.
3. 삼각측량: 여러 시점에서 사람을 연결하고 2D 키포인트를 3D 좌표로 삼각측량합니다.
4. 운동학 분석: 3D 데이터를 필터링하고 OpenSim을 사용해 전신 3D 관절 각도와 골격 분석을 계산합니다.

대상 사용자

• 스포츠 분석가: 현장 기반 3D 모션 캡처에 적합합니다.
• 임상의: 병원 진료실에서 보행 분석 및 임상 평가에 활용 가능합니다.
• 애니메이터: 완전히 옷을 입은 대상의 실외 3D 캡처에 적합합니다.
• 연구자: 다수의 참가자가 포함된 생체역학 연구에 유용합니다.

주요 특징

• 연구 수준의 정확도: 검증된 관절 각도 오차는 2–6°입니다.
• 하드웨어 독립성: 스마트폰, 웹캠, GoPro의 어떤 조합에도 호환됩니다.
• 다중 인원 지원: 겹침 상황을 고려한 다수 인원의 동시에 추적 가능.
• 로컬 처리: 클라우드 업로드를 피해 GDPR 및 개인정보 보호 규정을 준수합니다.
• OpenSim 통합: 완전한 골격 분석을 제공하며, OpenSim 또는 Blender에서 시각화할 수 있도록 결과를 내보낼 수 있습니다.