facebookresearch/VLM3

解決する課題

VLM³は3D視覚タスクの複雑さに対処します。従来、3D理解において最先端の成果を達成するには、特殊なアーキテクチャ、複雑な損失関数、および広範なデータ拡張が必要でした。VLM³は、標準的なVision Language Model (VLM) がこれらの特殊な追加要素なしで、これらのタスクを効果的に実行できることを実証しています。

仕組み

このプロジェクトは、標準的なVLMアーキテクチャ（具体的にはQwen3-vl-4B）を使用し、統一されたテキストベースの出力ドメインを用いた教師あり微調整 (SFT) によって学習を行います。3D空間データを処理するために以下を行います：

• カメラの曖昧さ：入力画像を一定の焦点距離（例：1000ピクセル）にリサイズすることで、追加のエンコーダーを不要にします。
• 空間参照：両方の軸に対して正規化されたテキスト座標（例：[0, 2000) または [0, 1000)）を使用してオブジェクトやピクセルを参照し、マーカーレンダリングやアーキテクチャの変更を不要にします。

対象読者

3DコンピュータビジョンやマルチモーダルAIの研究者や開発者で、タスク固有のモデルを設計することなく、よりシンプルでスケーラブルな方法で3D学習を実装したいと考えている方。

ハイライト

• アーキテクチャの変更不要：標準的なVLMアーキテクチャおよび損失関数で動作します。
• 複雑な拡張不要：画像のクロッピング、回転、平行移動の拡張を不要にします。
• 幅広い3D能力：メトリック深度推定、ピクセル対応推定、カメラポーズ推定を実行します。
• 競争力のあるパフォーマンス：さまざまな3Dベンチマークにおいて、UnidepthV2、Moge-2、DepthAnything3などの専門モデルに匹敵するか、それを上回る性能を発揮します。