facebookresearch/VLM3

解决的问题

VLM³ 解决了 3D 视觉任务的复杂性。传统上，要在 3D 理解方面取得最先进的成果，需要专门的架构、复杂的损失函数和大量的数据增强。VLM³ 证明了标准视觉语言模型 (VLMs) 无需这些额外的专门设计，即可有效执行这些任务。

运作原理

该项目使用标准 VLM 架构（特别是 Qwen3-vl-4B），并通过监督微调 (SFT) 和统一的基于文本的输出域进行训练。为了处理 3D 空间数据：

• 相机模糊性：它将输入图像调整为一致的焦距（例如 1000 像素），从而无需额外的编码器。
• 空间参考：它使用归一化的文本坐标（例如 [0, 2000) 或 [0, 1000)）来引用两个轴上的对象或像素，消除了对标记渲染或架构更改的需求。

目标受众

在 3D 计算机视觉和多模态 AI 领域的研究人员和开发者，他们希望以更简单、更具扩展性的方式实现 3D 学习，而无需设计特定任务的模型。

特点

• 无需架构更改：适用于标准 VLM 架构和损失函数。
• 无需复杂增强：消除了对图像裁剪、旋转或平移增强的需求。
• 广泛的 3D 能力：执行度量深度估计、像素对应估计和相机位姿估计。
• 具竞争力的性能：在各种 3D 基准测试中匹配或超越了 UnidepthV2、Moge-2 和 DepthAnything3 等专门模型。