ACFR-RPG/DynOSAM

何を解決するか

DynoSAMは、ロボットが自らの位置を推定し、環境をマッピングしながら、動く物体の運動を同時に追跡する必要がある動的SLAM（同時位置推定と地図作成）の課題に対処します。従来のSLAMは、動く物体がカメラの姿勢推定を混乱させ、正確な地図作成を妨げるため、動的環境ではしばしば困難に直面します。

仕組み

DynoSAMはステレオまたはRGB-Dビジュアルオドメトリパイプラインを使用して、カメラの姿勢、物体の運動、静的背景を推定します。データ処理用のフロントエンドと最適化用のバックエンドを持つモジュールアーキテクチャを採用しています。

主な技術的要素は以下の通りです：

• 最適化手順：フルバッチ、スライディングウィンドウ、インクリメンタル最適化をサポート。
• 物体検出：YOLOv8を用いたインスタンスセグメンテーションとトラッキングをCUDAおよびTensorRTで加速。
• トラッキング：密なオプティカルフロー（RAFT）または疎なKLTトラッキングのいずれかを使用。
• バックエンド定式化：ワールドセントリックモーションエスティメーター（WCME）、ワールドセントリックポーズエスティメーター（WCPE）、ハイブリッド定式化など、複数の運動推定モードを提供。
• 統合：データ処理用にROS2、3D可視化用にRVIZと完全統合。

対象ユーザー

本プロジェクトは、ビジュアルSLAM、動的環境における自律ナビゲーション、エムブデッドインテリジェンス（身体を持つ知能）に取り組むロボット研究者およびエンジニアを対象としています。

特徴

• ハードウェアアクセラレーション：CUDAおよびTensorRT統合により、フロントエンド処理と物体検出を高速化。
• エッジデバイス対応：NVIDIA ORIN NX（AARM64）でテスト済み。
• 柔軟なバックエンド：速度と精度のバランスを取るための複数の最適化定式化（例：並列ハイブリッドによる高速化）。
• 包括的な評価：論文の結果を再現するための組み込みスクリプトと、詳細なメトリクス（ATE、RPE）を生成する機能を備える。
• IMU対応：GTSAMを用いたIMUプリインテグレーションとの統合。