pollen-robotics/microduck_rl

何を解決するか

このプロジェクトは、マイクロダックという小型二足歩行ロボットのための強化学習（RL）訓練環境を提供します。特に、シミュレーションで学習した動作を物理的なロボットに転送する際の「シミュレーションから現実へのギャップ（sim2real gap）」という課題に取り組んでいます。高精度のアクチュエータモデルとドメインランダム化を用いることで、複雑な歩行パターンや技のシミュレーションから現実への転送を可能にします。

仕組み

システムはMuJoCo WarpとPPO（Proximal Policy Optimization）を用いて50 Hzでポリシーを訓練します。実機で動作するようにするため、以下の要素を組み込んでいます：

• BAMアクチュエータ物理モデル：Dynamixel XL330サーボを電圧制御則まで高精度にモデル化。逆起電力と摩擦を含む。
• ドメインランダム化：訓練中にバッテリー電圧、電圧低下、コマンド遅延、摩擦をランダム化。
• バックラッシュのシミュレーション：各関節で±1°のギア遊びをモデル化した特別な訓練バージョンを含み、機械的不具合へのロバスト性を高める。
• ONNXエクスポート：訓練済みポリシーは観測正規化器を内蔵したONNX形式でエクスポートされ、ロボットのランタイムに直接デプロイ可能。

対象ユーザー

• 二足歩行ロボティクスに取り組む研究者や開発者。
• マイクロダックロボットのユーザーで、カスタム歩行パターンや技を訓練したい人。
• 小規模ロボティクスにおけるシミュレーションから現実への転送技術に興味を持つエンジニア。

特徴

• 多様なタスクライブラリ：平坦・不整地での歩行、転倒からの回復、立ち上がり、座り、ボールキック、さらにはローラースケートまでを含む環境。
• ホットスワップ可能なポリシー：すべてのポリシーが61次元の観測契約を共有しており、歩行、回復、技の実行をシームレスに切り替え可能。
• 簡素化されたデプロイ：publishツールにより、ポリシーをHugging Face Hubにアップロードし、CLIツールで物理ロボットに簡単にインストール可能。
• ハードウェアに配慮した訓練：理想的なPDコントローラーではなく、アクチュエータの電圧と負荷依存摩擦を正確にモデル化。