mprib/caliscope

解決する課題

Caliscopeは、3Dモーションキャプチャに使用されるマルチカメラリグのキャリブレーションプロセスを簡素化します。各カメラの焦点距離、レンズ歪み、および共有3D空間内での他のカメラに対する正確な位置と向きを決定する際の困難を解決します。

仕組み

このツールキットは、ChArUcoボード、チェスボード、またはArUcoマーカーなどのターゲットを含むキャリブレーション動画を使用してカメラパラメータを推定します。共通の視野を持つカメラ同士をリンクさせることで、カメラの重なりが部分的な場合でも対応可能です。また、向かい合うカメラのための両面ターゲットもサポートしています。ターゲットを使用しない場合、実験的なマーカーレスワークフローにより、シーン内を移動する人物に基づいてキャリブレーションを行うことができます。さらに、ONNXベースのモデルを使用して、動画画像のみから垂直方向を推定します。

対象ユーザー

3Dモーションキャプチャに取り組む研究者や開発者向けに設計されており、GUIベースのデスクトップアプリまたはプログラム可能なスクリプトAPIのいずれかを通じて、信頼性の高いカメラアレイのキャリブレーション方法を提供します。

主な特徴

• 柔軟なキャリブレーション: ChArUco、チェスボード、ArUcoマーカー、およびマーカーレスキャリブレーションをサポート。
• 部分的な重なりのサポート: すべてのカメラが同時にターゲットを捉えていない場合でもリグをキャリブレーション可能。
• リグのアライメント: ワールド原点をキャリブレーションボードに合わせたり、動画から垂直方向を推定したりする機能。
• 統合: Pose2Simやaniposeなどのツールと互換性のあるTOML形式でキャリブレーションをエクスポート。
• 品質保証: 処理段階を視覚化し、ONNXポーズモデルでランドマークを追跡してキャリブレーション品質を検証するためのデスクトップアプリが含まれています。