mprib/caliscope

해결하는 문제

Caliscope는 3D 모션 캡처에 사용되는 멀티 카메라 리그 보정 과정을 간소화합니다. 각 카메라의 초점 거리, 렌즈 왜곡, 그리고 공유된 3D 공간 내에서 다른 카메라들에 대한 정확한 위치와 방향을 결정하는 어려움을 해결합니다.

작동 방식

이 툴킷은 ChArUco 보드, 체스보드 또는 ArUco 마커와 같은 타겟이 포함된 보정 영상을 사용하여 카메라 파라미터를 추정합니다. 공통 시야를 공유하는 카메라들을 연결하여 카메라가 부분적으로만 겹치는 경우에도 처리할 수 있습니다. 또한 서로 마주 보는 카메라를 위한 양면 타겟도 지원합니다. 타겟을 사용하지 않는 경우를 위해, 실험적인 마커리스 워크플로우를 통해 장면 내에서 움직이는 사람을 기반으로 보정을 수행할 수 있습니다. 추가로, ONNX 기반 모델을 사용하여 영상 이미지에서만 수직 방향을 추정합니다.

대상 사용자

3D 모션 캡처를 다루는 연구자와 개발자를 위해 설계되었으며, GUI 기반 데스크톱 앱이나 프로그래밍 가능한 스크립트 API를 통해 신뢰할 수 있는 카메라 배열 보정 방법을 제공합니다.

주요 특징

• 유연한 보정: ChArUco, 체스보드, ArUco 마커 및 마커리스 보정을 지원합니다.
• 부분적 겹침 지원: 모든 카메라가 동시에 타겟을 보지 못하는 경우에도 리그를 보정할 수 있습니다.
• 리그 정렬: 월드 원점을 보정 보드에 맞추거나 영상에서 수직 방향을 추정하는 기능을 제공합니다.
• 통합: Pose2Sim 및 anipose와 같은 도구와 호환되는 TOML 형식으로 보정 결과를 내보냅니다.
• 품질 보증: 처리 단계를 시각화하고 ONNX 포즈 모델로 랜드마크를 추적하여 보정 품질을 검증하는 데 사용할 수 있는 데스크톱 앱이 포함되어 있습니다.