AIGeeksGroup/3D-R1

[NeurIPS 2026 Reviewed (5/4/4 - A/WA/WA)] 3D-R1: Enhancing Reasoning in 3D VLMs for Unified Scene Understanding

3D‑R1 – 汎用3‑D視覚言語モデル

概要 – 3D‑R1は、大規模視覚言語モデル（VLM）を3‑Dドメインに拡張するオープンソースの基盤モデルです。点群シーンの推論、質問応答、キャプション生成、物体接地、さらには行動計画まで、単一のモデルで実行できるように学習されています。

重要性 – 既存の3‑D VLMは、静的な視点や限られた空間データに依存しているため、複雑な推論で失敗することがよくあります。3D‑R1は以下の方法でこれに対処します：

主要コンポーネント

コンポーネント	役割
Scene‑30K	CoTキャプション付きの合成30K 3‑Dシーン。コールドスタートデータとして機能
RLHF (GRPO)	知覚、意味的類似性、フォーマット報酬を用いてモデルを微調整
動的視点セレクター	各シーンに最適な視点を選択
バックボーンLLM	`Qwen2.5‑VL‑7B‑Instruct`（または互換モデル）が言語生成を担当
3‑Dエンコーダー	PointNet++ (`third_party/pointnet2`から構築) およびオプションのPyTorch3Dレンダリング
可視化	点群および3‑Dバウンディングボックス予測のためのRerun‑SDKベースのビューア

はじめに

環境 – CUDA 11.8, Python 3.9, PyTorch 2.0.1+cu118でテスト済み。リストされているpip/condaパッケージ（オプションの pytorch3d を含む）をインストールしてください。READMEに従ってPointNet++と高速化されたGIoU演算をビルドしてください。
データ – 提供されているHugging Faceリンクから前処理済みのScanNetデータをダウンロードし、追加のエンコーダーを有効にする場合は、指示に従ってマルチビュー画像/深度マップを追加してください。ScanRefer, Nr3D, ScanQA, 3D‑LLMから言語アノテーションを取得するか、準備済みの Scene‑30K データセットをダウンロードしてください。
学習 –
- 教師あり微調整 (SFT) on Scene‑30K: bash script/train.generalist.sh
- RL微調整: bash script/train.rl.sh
推論 – チェックポイントを使用して bash script/infer.sh を実行し、ベンチマークデータセットの検証セットで評価します。
可視化 – rerun-sdk, trimesh, plyfile をインストールし、bash script/visualize.sh を実行して点群と予測された3‑Dボックスを確認します。

デモとリソース

ユースケース – 点群シーンにおけるゼロショット3‑D密キャプション、物体キャプション、視覚接地、質問応答、対話、推論、計画。READMEでは、これらの機能のビデオデモをいくつか紹介しています。

謝辞 – Qwen, LSceneLLM, ARKitScenes, DeepSeek‑Mathのコードベースに基づいています。

コードを再利用または本研究を引用する場合は、提供されているBibTeXエントリを追加してください。