facebookresearch/spider

解决的问题

SPIDER 提供了一个通用的物理基础重新定位框架，允许将人类视频中的动作转移到各种机器人实体，包括灵巧手和人形机器人。它解决了将人类动作映射到具有不同物理结构和约束的机器人硬件上的挑战。

运作原理

该框架使用物理信息管道将人类视频数据转换为机器人动作。该过程包括几个步骤：将原始数据集处理为统一架构、分解物体、检测接触、生成场景 XML，以及执行运动学和物理基础的重新定位。它支持多种模拟器（如 Mujoco Wrap、Genesis 和 IsaacGym），并与各种用于强化学习 (RL) 和行为克隆 (BC) 的下游训练管道集成。

适用对象

此工具专为从事灵巧操作和人形机器人控制的机器人研究人员和开发人员设计，特别是那些希望将人类示范转化为可执行机器人轨迹的人员。

特点

• 广泛的实体支持：开箱即用支持超过 9 种机器人和 6 个数据集。
• 物理基础：第一个同时适用于灵巧手和人形机器人的通用物理基础重新定位管道。
• Sim2Real 就绪：专为部署到现实世界机器人而设计。
• 灵活集成：原生支持多种模拟器，并与 RL 训练和数据增强无缝集成。