NVlabs/PointWorld

解决的问题

PointWorld 解决了在真实世界（"in-the-wild"）环境中扩展 3D 世界模型用于机器人操作的挑战。它提供了一种方法，基于部分 RGB-D 数据和机器人采取的动作，预测整个 3D 场景的演化（场景流）。

工作原理

PointWorld 是一个大型预训练 3D 世界模型，将环境和机器人动作都表示为 3D 点流。它从部分可观测的 RGB-D 数据中预测完整的场景 3D 点流。该架构采用基于 DINOv3 的场景编码器主干，并在不同尺寸（小、基础、大）中整合了 Point Transformer V3 (PTv3) 的适配组件。

适用人群

本项目专为从事 3D 世界模型、机器人操作和具身 AI 的研究人员和开发者设计，适用于需要 3D 场景流预测训练与评估流程的用户。

主要亮点

• 多领域训练：支持在 DROID（真实世界）和 BEHAVIOR（仿真）数据集上进行训练，或两者结合使用。
• 3D 点流表示：将观测和动作均视为 3D 点流，以预测整个场景的演化。
• 交互式可视化：包含基于 viser 构建的实时 3D 查看器，可逐步查看时间演化过程，并将模型预测与真实值进行对比。
• 灵活的架构：提供多种 PTv3 尺寸变体（小、基础、大），以平衡性能与资源使用。