perfanalytics/pose2sim
Markerless kinematics with any cameras — From 2D Pose estimation to 3D OpenSim motion
해결하는 문제
Pose2Sim은 인간과 동물을 위한 마커리스 3D 운동학 워크플로우를 제공하며, 기존의 마커 기반 모션 캡처(MoCap) 시스템의 저비용 대안 역할을 합니다. 스마트폰, 웹캠, 또는 GoPro와 같은 표준 하드웨어를 사용하여 연구 수준의 3D 동작 분석을 가능하게 하며, 스포츠 필드, 클리닉, 야외 등 다양한 환경에서 피험자가 마커를 착용할 필요 없이 캡처할 수 있습니다.
작동 방식
이 시스템은 2D 포즈 추정 데이터를 3D 골격 분석으로 변환합니다. 워크플로우는 여러 단계로 구성됩니다:
- 포즈 추정: RTMPose(기본값), DeepLabCut, 또는 OpenPose와 같은 레거시 모델을 사용하여 2D 키포인트를 추출합니다.
- 캘리브레이션 및 동기화: 여러 카메라 뷰를 동기화하고 내부 및 외부 카메라 매개변수를 계산합니다.
- 삼각 측량: 서로 다른 카메라 뷰에서 사람들을 연관시키고 2D 키포인트를 3D 좌표로 삼각 측량합니다.
- 정제: 3D 좌표를 필터링하고 마커를 증강하여 데이터 품질을 개선합니다.
- 운동학: 전신 3D 관절 각도와 골격 분석을 계산하며, OpenSim과 통합하여 시각화 및 분석할 수 있습니다.
대상 사용자
- 스포츠 분석가: 필드 기반 3D 모션 캡처용.
- 임상의: 진료실에서 보행 분석 및 임상 평가용.
- 애니메이터: 완전히 옷을 입은 피험자의 야외 3D 캡처용.
- 생체역학 연구자: 접근 가능한 하드웨어를 사용하여 여러 참가자와 연구를 수행하기 위한 용도.
주요 특징
- 높은 정확도: 동료 검토 연구에서 검증된 관절 각도 오차 2-6°.
- 하드웨어 독립적: 휴대폰, 웹캠, 또는 GoPro의 모든 조합과 호환.
- 다중 인물 지원: 여러 뷰에서 동시에 여러 사람을 추적할 수 있음.
- 개인정보 보호 중심: 데이터 개인정보 보호 및 GDPR 규정을 준수하기 위해 로컬에서 실행.
- OpenSim 통합: OpenSim 또는 Blender에서 전체 골격 분석을 위한 .trc 및 .mot 파일 생성.
요약
표준 카메라의 2D 포즈 추정을 연구 수준의 3D 관절 각도 및 골격 분석으로 변환하는 마커리스 3D 운동학을 위한 오픈소스 워크플로우입니다.
제목
표준 비디오를 연구 수준의 골격 운동학으로 변환하는 마커리스 3D 모션 캡처 워크플로우
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트