MIT-SPARK/DAAAM

解決する課題

DAAAMは、動的環境においてリアルタイムかつ意味的に豊かな3Dマップを作成するという課題を解決します。このシステムは、4Dシーングラフをオンザフライで構築することで、移動物体を含む空間内の「どこに」「何があるか」をロボットが理解できるようにします。

仕組み

このシステムは「基盤モデルファースト」のアプローチを採用しています。セグメンテーションにはSegment Anything Model (SAM)、追跡にはBotSort、そしてグラウンディングには視覚言語モデル (VLMs) を組み合わせています。これらの入力はHydraフレームワークに供給され、3D空間における物体とその関係性を時間経過とともに表現する階層的な4Dシーングラフを構築します。

対象ユーザー

本プロジェクトは、周囲の環境に対する高度な意味的理解をリアルタイムで必要とする自律システムを構築するロボット工学の研究者や開発者向けに設計されています。

ハイライト

• 4Dシーングラフ構築におけるリアルタイム性能。
• SAM、BotSort、VLMsを統合した意味的グラウンディング。
• NaVQAおよびSG3Dベンチマークにおける最先端の成果。
• ローカライズされたキャプションモデルから意味的記述を生成するための最適化ベースのフロントエンド。