AIGeeksGroup/3D-R1

3D‑R1 – 通用型 3‑D 视觉语言模型

简介 – 3D‑R1 是一款开源基础模型，将大型视觉语言模型 (VLMs) 扩展至 3‑D 领域。它经过训练，能够对点云场景进行推理、回答问题、生成标注、定位物体，甚至规划动作，所有功能皆由单一模型完成。

重要性 – 现有的 3‑D VLMs 往往因依赖静态视角和有限的空间数据，而在复杂推理上表现不佳。3D‑R1 通过以下方式解决此问题：

• 在名为 Scene‑30K 的合成思维链 (CoT) 数据集上进行预训练，该数据集提供高质量且具备丰富语言标注的 3‑D 场景。
• 使用人类反馈强化学习 (RLHF) (GRPO) 并结合三种自定义奖励（感知、语义相似度、格式），以强化推理能力和回答的准确性。
• 在推理过程中动态选择最具信息量的摄像机视角，从而提升对未见场景的泛化能力。

关键组件

组件	角色
Scene‑30K	包含 CoT 标注的合成 30K 3‑D 场景；作为冷启动数据
RLHF (GRPO)	利用感知、语义相似度和格式奖励对模型进行微调
动态视角选择器	为每个场景选择最佳视角
骨干 LLM	Qwen2.5‑VL‑7B‑Instruct (或兼容模型) 提供语言生成能力
3‑D 编码器	PointNet++ (基于 third_party/pointnet2 构建) 及选用的 PyTorch3D 渲染
可视化	基于 Rerun‑SDK 的点云与 3‑D 边界框预测查看器

入门指南

1. 环境 – 已在 CUDA 11.8, Python 3.9, PyTorch 2.0.1+cu118 环境下测试。安装列出的 pip/conda 套件（包含选用的 pytorch3d）。依照 README 说明构建 PointNet++ 和加速的 GIoU 运算。
2. 数据 – 从提供的 Hugging Face 链接下载预处理过的 ScanNet 数据，若要启用额外编码器，请依照说明加入多视角图像/深度图。从 ScanRefer, Nr3D, ScanQA 和 3D‑LLM 获取语言标注，或直接下载现成的 Scene‑30K 数据集。
3. 训练 –
   • 监督式微调 (SFT) on Scene‑30K: bash script/train.generalist.sh
   • RL 微调: bash script/train.rl.sh
4. 推理 – 使用检查点执行 bash script/infer.sh 以评估基准数据集的验证集。
5. 可视化 – 安装 rerun-sdk, trimesh, plyfile 并执行 bash script/visualize.sh 以查看点云和预测的 3‑D 框。

演示与资源

• 论文: https://arxiv.org/abs/2507.23478 (NeurIPS 2026 投稿)
• 项目页面: https://aigeeksgroup.github.io/3D‑R1
• 数据集: Scene‑30K on Hugging Face
• 预训练模型: Hugging Face repo AIGeeksGroup/3D‑R1
• YouTube 概览: https://youtu.be/P3jPg6MwLOM

应用场景 – 点云场景的零样本 3‑D 密集标注、物体标注、视觉定位、问答、对话、推理和规划。README 展示了多个这些功能的视频演示。

致谢 – 基于 Qwen, LSceneLLM, ARKitScenes 和 DeepSeek‑Math 代码库构建。

---

若您重复使用此代码或引用本研究，请加入提供的 BibTeX 条目。