GREAT-WHU/MASt3R-Fusion

What it solves

MASt3R-Fusionは、大規模環境における高精度で堅牢な3D知覚およびマッピング（SLAM）の構築という課題に対処します。具体的には、ディープラーニングベースの点図回帰とマルチセンサーデータを統合することで、単眼視覚慣性システムにおけるメトリックスケールの維持とグローバルな一貫性の問題を解決します。

How it works

本システムは、点図回帰のためのフィードフォワード視覚モデル（MASt3Rに基づく）を、慣性計測装置（IMU）および全地球航法衛星システム（GNSS）からのデータと密接に統合します。リアルタイムののスライディングウィンドウ追跡メカニズムと、因子グラフ（修正されたGTSAMを介して実装）を組み合わせ、グローバルな一貫性のある最適化を行います。パイプラインには、時間経過に伴うデータ関連付けを処理するためのループクロージャ検出が含まれており、カメラの内部パラメータとポーズの自動キャリブレーションをサポートしています。

Who it’s for

このプロジェクトは、精密かつ大規模な空間認識とマルチセンサー融合を必要とする、ロボティクス、自動運転車、および3Dマッピングアプリケーションに従事する研究者やエンジニア向けに設計されています。

Highlights

• Multi-Sensor Fusion: 視覚データとIMUおよびGNSSを密接に統合し、堅牢性とメトリックスケールを向上させます。
• Global Consistency: リアルタイムの追跡をグローバルな最適化およびループクロージャ検出と組み合わせます。
• Efficient Memory Usage: わずか8 GBのGPUメモリで、任意の長さのシーケンスを処理できます。
• Full-View Depth: 視野全体に対して包括的な深度推定を提供します。
• Auto Calibration: カメラの内部パラメータとポーズの共同最適化をサポートします。