NVlabs/PointWorld

解決的問題

PointWorld 解決了在真實世界（"in-the-wild"）環境中擴展 3D 世界模型以進行機器人操作的挑戰。它提供了一種方法，根據部分 RGB-D 資料和機器人採取的動作，預測整個 3D 場景的演化（場景流）。

工作原理

PointWorld 是一個大型預訓練 3D 世界模型，將環境與機器人動作均表示為 3D 點流。它從部分可觀測的 RGB-D 資料中預測完整場景的 3D 點流。該架構採用基於 DINOv3 的場景編碼器主幹，並在不同尺寸（小、基礎、大）中整合了 Point Transformer V3 (PTv3) 的適配組件。

適用對象

本專案專為從事 3D 世界模型、機器人操作與具身 AI 的研究人員與開發者設計，適用於需要 3D 場景流預測訓練與評估流程的使用者。

主要亮點

• 多領域訓練：支援在 DROID（真實世界）與 BEHAVIOR（模擬）資料集上進行訓練，或兩者結合使用。
• 3D 點流表示：將觀測與動作均視為 3D 點流，以預測整個場景的演化。
• 互動式可視化：包含基於 viser 建構的即時 3D 查看器，可逐步檢視時間演化過程，並將模型預測與真實值進行對比。
• 靈活的架構：提供多種 PTv3 尺寸變體（小、基礎、大），以平衡效能與資源使用。