amazon-far/TWIST2

解決する課題

TWIST2 は、ヒューマノイドロボット向けに高品質でスケーラブル、かつポータブルなデータを収集する際の困難を解決します。人間とロボットの動作のギャップを埋めるシステムを提供し、シミュレーション環境と現実環境の両方で効率的な遠隔操作とデータ収集を可能にします。

仕組み

このシステムは、高レベルの動作制御と低レベルのロボット実行を分離しています。

1. 高レベル制御: 人間の動作は、PICO VR ヘッドセット（オンライン遠隔操作）またはオフラインのモーションデータセットからキャプチャおよびストリーミングされます。
2. モーションリターゲティング: General Motion Retargeting (GMR) システムを使用して、人間の動きをロボットの形態にマッピングします。
3. 低レベル制御: 学習済みの RL ベースの汎用モーショントラッカー（学生ポリシー）が、リターゲティングされた動作を実行します。このポリシーは、効率的なデプロイのために ONNX モデルとしてエクスポートされます。
4. 通信: Redis サーバーを使用して、高レベルのモーションストリーミングと低レベルのコントローラー間の通信を処理します。

対象ユーザー

ヒューマノイドロボット工学の研究者やエンジニア、特に模倣学習、sim-to-real 転移、大規模なヒューマノイドデータ収集に取り組んでいる方。

ハイライト

• 包括的なデータ収集: シミュレーション (sim2sim) と物理ロボット (sim2real) の両方のデプロイをサポート。
• VR 遠隔操作: PICO VR ヘッドセットと統合し、リアルタイムの人からロボットへの制御を実現。
• モジュール式アーキテクチャ: 高レベルのモーションストリーミングと低レベルの RL ポリシーを分離。
• ハードウェアサポート: Unitree G1 ヒューマノイドロボット向けに特別に設計およびテスト済み。