fan-ziqi/rl_sar

何を解決するか

rl_sar は、さまざまなロボットにおける強化学習（RL）ポリシーのシミュレーション検証および物理的デプロイメントのための統合フレームワークを提供します。Gazebo や MuJoCo などの多数のシミュレータ、ROS Noetic、ROS2 Foxy/Humble、およびスタンドアロンの CMake ビルドなど、幅広いロボットハードウェア、シミュレータ、インフェレンスエンジンをサポートすることで、シミュレーションと現実のギャップ（"sim-to-real"）を埋め、RLベースの歩行やダンススキルを物理ハードウェアにデプロイする前にシミュレーションでテストできるようにします。

仕組み

このフレームワークは、事前に学習された RL ポリシー（.pt または .onnx 形式）を読み込み、ロボット上で実行するデプロイメントレイヤーとして機能します。複数のシミュレーション環境（Gazebo および MuJoCo）と複数の通信プロトコル（ROS Noetic、ROS2 Foxy/Humble、およびハードウェアデプロイ用のスタンドアロン CMake ビルド）をサポートしています。

主な技術的コンポーネントは以下の通りです：

• インフェレンスエンジン：libtorch と onnxruntime を使用してニューラルネットワークを実行します。
• ロボットサポート：Unitree A1、Go2、G1、Agibot D1 など、さまざまな四足、車輪、ヒューマノイドロボットの事前構成サポートを提供します。
• アクチュエータネットワークの学習：実世界のモーターのデータを記録し、物理ロボットの挙動をより正確にモデル化するためのアクチュエータネットワークを学習するためのツールを含みます。
• 制御インターフェース：ゲームパッド、キーボード、および実験的なモバイルWeb制御をサポートします。

対象ユーザー

強化学習を用いたロボット開発に従事する研究者やエンジニアで、訓練済みのポリシーを物理ロボットに標準化された方法でデプロイする必要がある、または異なるハードウェアプラットフォーム上でシミュレーションで検証したい人向けです。

特徴

• 広範なハードウェア互換性：四足、車輪型ロボット、ヒューマノイドをサポート。
• マルチシミュレータ対応：IsaacGym、IsaacSim、Gazebo、MuJoCo と互換性あり。
• 柔軟なデプロイメント：ROSベースと非ROS（CMake）ビルドの両方をサポートし、ハードウェア直接実行が可能。
• クロスプラットフォーム：Linux および macOS（MuJoCo 限定）で動作。
• シミュレーションから現実へのツールキット：実世界データを使用してアクチュエータネットワークを学習するための専用パイプラインを含む。