hzxie/DynamicVLA

解决的问题

DynamicVLA 旨在让机器人能够操作正在移动或状态变化的物体（动态物体操作），超越静态场景操作的限制。

运作方式

它是一个视觉-语言-动作（VLA）模型，处理视觉观察和语言指令以输出机器人动作。该项目提供了完整的训练和评估流程，包括一个名为 DOM（动态物体操作）的专门数据集，以及与 Isaac Lab 的集成，用于高保真模拟和基准测试。

适用对象

从事具身智能、机器人操作和 VLA 模型研究与开发的研究人员和开发者，需要处理动态环境。

亮点

• DOM 数据集：专门用于训练和基准测试动态物体操作的数据集。
• 模拟集成：完全支持 Isaac Lab 和 Isaac Sim，用于生成合成数据和评估策略。
• 灵活的动作表示：支持相对动作（相对于当前状态）和欧拉角旋转。
• 分布式训练：包含使用 torchrun 进行多 GPU 分布式训练的脚本。