tylerlum/simtoolreal

何を解決するか

SimToolRealは、機敏なツール操作の課題に対処し、新しい物体やシナリオに対して再トレーニングを必要とせずに、ロボットがさまざまなツールを異なるタスクに使用できるようにします（ゼロショット操作）。オブジェクト中心のポリシーを構築することに焦点を当てており、異なるツールカテゴリやインスタンス間で一般化できるようにします。

仕組み

このプロジェクトは、強化学習（RL）を用いて、シミュレーション環境（Isaac SimまたはIsaac Gym）でポリシーをトレーニングします。PPOやSAPGなどのアルゴリズムを使用して、シミュレーション（Sim-to-Sim）および現実世界（Sim-to-Real）の両方で展開可能なポリシーを開発します。現実世界への展開では、ツールの姿勢を追跡するための認識システム（SAM + FoundationPose）と、ロボットの行動をガイドするゴール姿勢ノードと統合されています。

対象ユーザー

このプロジェクトは、機敏な操作、シミュレーションから現実への転送、汎用的なロボットポリシーに取り組むロボット工学の研究者およびエンジニアを対象としています。

特徴

• DexToolBench：ハンマー、マーカー、消しゴム、ブラシ、スパチュラ、スクリュードライバーの6つのツールカテゴリをカバーし、複数の物体とタスクを含む専用ベンチマーク。
• ゼロショット機能：タスク固有の微調整なしでツール操作を処理できるポリシーを目指します。
• 二重シミュレーション対応：最新のIsaac Sim（Isaac Lab経由）と従来のIsaac Gymの両方に対応。
• 統合デプロイパイプライン：ポリシー、ゴール姿勢、認識、ロボットノードからなるマルチノードシステムを用いて、シミュレーションから現実世界のハードウェアへの移行を構造化したアプローチを提供。