tylerlum/simtoolreal

解決的問題

SimToolReal 解決了機敏工具操作的挑戰，具體表現為機器人無需針對每個新物件或情境重新訓練，即可使用各種工具完成不同任務（零樣本操作）。它專注於建立一種「以物件為中心」的策略，使其能在不同工具類別與實例之間實現泛化。

工作原理

本專案使用強化學習（RL）在模擬環境（Isaac Sim 或 Isaac Gym）中訓練策略。採用 PPO 和 SAPG 等演算法，開發出既可在模擬中部署（Sim-to-Sim），也可在真實世界中部署（Sim-to-Real）的策略。在真實世界部署時，它與感知系統（SAM + FoundationPose）整合，用於追蹤工具的姿態，並透過目標姿態節點引導機器人的動作。

適用對象

本專案專為從事機敏操作、模擬到現實遷移以及可泛化機器人策略的機器人研究人員與工程師設計。

主要亮點

• DexToolBench：一個專用基準，涵蓋 6 種工具類別（鎚子、標記筆、橡皮擦、刷子、鏟子、螺絲起子），覆蓋多種物件與任務。
• 零樣本能力：旨在實現無需任務特定微調即可處理工具操作的策略。
• 雙模擬支援：相容現代 Isaac Sim（透過 Isaac Lab）與舊版 Isaac Gym。
• 整合部署流程：包含從模擬到真實硬體的結構化流程，採用多節點系統（策略、目標姿態、感知與機器人節點）。