MIT-SPARK/DAAAM

解决的问题

DAAAM 解决了在动态环境中创建实时、语义丰富的 3D 地图的挑战。它通过即时构建 4D 场景图，让机器人能够理解空间中物体的“位置”与“内容”，包含移动中的物体。

运作原理

该系统采用“基础模型优先”的方法。它结合了 Segment Anything Model (SAM) 进行分割、BotSort 进行追踪，以及视觉语言模型 (VLMs) 进行基础定位。这些输入被馈送到 Hydra 框架中，以构建一个分层的 4D 场景图，呈现物体及其在 3D 空间中随时间变化的关系。

适用对象

此项目专为机器人研究人员与开发者设计，适用于需要实时对周围环境进行高阶语义理解的自主系统开发。

特色亮点

• 4D 场景图构建的实时性能。
• 整合 SAM、BotSort 与 VLMs 进行语义基础定位。
• 在 NaVQA 与 SG3D 基准测试中达到最先进的成果。
• 基于优化的前端，用于从局部字幕模型生成语义描述。