cheng-haha/GPT-Policy

解決する課題

GPT-Policyは、ロボットが勾配更新やタスク固有のパラメータ変更を必要とせずに、未知の環境やタスクに適応できるようにするという課題に取り組みます。展開時にコンテキストから学習できるようにし、有限のデモンストレーションでは現実のあらゆるシナリオをカバーできないという制限を克服します。

仕組み

このシステムは、固定された視覚言語モデル（VLM）をロボットツールに接続する閉ループ制御フレームワークです。3つの主要コンポーネントで動作します。

1. コンテキストコンパイラ: タスクに関連する視覚的な遷移を保持し、人間のビデオ、ロボットのデモンストレーション、目標画像、自己履歴、人間とロボットのインタラクションから入力を収集します。
2. VLMエージェント: コンパイルされたコンテキストとライブ観測に基づいて、構造化されたロボットツールアクションを提案します。
3. 制約付きコントローラ: 提案されたアクション（デカルト目標やウェイポイントシーケンスなど）を検証して実行し、逆運動学（IK）チェックを行い、結果をVLMに報告して次の決定サイクルに進みます。

対象読者

このプロジェクトは、大規模視覚言語モデルを使用してロボット操作タスクのインコンテキスト学習を実装したい、具現化AIおよびロボティクスの研究者や開発者向けに設計されています。

ハイライト

• インコンテキスト学習: モデルを再トレーニングせずに、デモンストレーションとフィードバックを使用して新しいタスクに適応します。
• マルチソースコンテキスト: 人間のビデオ、アクションラベル付きロボットビデオ、目標画像、インタラクション履歴をサポートします。
• ハードウェアサポート: ARX X5およびI2RT/YAMロボットアームプラットフォーム用のアダプタが含まれています。
• 閉ループ実行: ライブカメラフィードバックと実行結果を統合して、ロボットの動作を反復的に改善します。