tylerlum/simtoolreal

解决的问题

SimToolReal 解决了机敏工具操作的挑战，具体表现为机器人无需为每个新物体或场景重新训练，即可使用各种工具完成不同任务（零样本操作）。它专注于创建一种“以物体为中心”的策略，使其能够在不同工具类别和实例之间实现泛化。

工作原理

该项目使用强化学习（RL）在仿真环境（Isaac Sim 或 Isaac Gym）中训练策略。采用 PPO 和 SAPG 等算法，开发出既可在仿真中部署（Sim-to-Sim），也可在真实世界中部署（Sim-to-Real）的策略。在真实世界部署时，它与感知系统（SAM + FoundationPose）集成，用于跟踪工具的位姿，并通过目标位姿节点引导机器人的动作。

适用对象

本项目专为从事机敏操作、仿真到现实迁移以及可泛化机器人策略的机器人研究人员和工程师设计。

主要亮点

• DexToolBench：一个专用基准，涵盖 6 种工具类别（锤子、记号笔、橡皮擦、刷子、铲子、螺丝刀），覆盖多种物体和任务。
• 零样本能力：旨在实现无需任务特定微调即可处理工具操作的策略。
• 双仿真支持：兼容现代 Isaac Sim（通过 Isaac Lab）和旧版 Isaac Gym。
• 集成部署管道：包含从仿真到真实硬件的结构化流程，采用多节点系统（策略、目标位姿、感知和机器人节点）。