liruiw/GenSim

何を解決するか

GenSimは、多様で複雑なロボットシミュレーションタスクを手動で作成する困難さに対処します。シミュレーション環境とエキスパートゴールの自動生成により、研究者がマルチタスクロボットポリシーのトレーニングおよびベンチマークに利用可能なタスクの多様性を拡大できます。

仕組み

本プロジェクトは、大規模言語モデル（LLM）のコード生成パイプライン（特にGPT-4およびファインチューニングされたCode-LLaMA）を使用して、シミュレーション環境の実際のコードを記述します。下位からテンプレート生成、上位からタスク生成、タスク条件付きの思考の連鎖生成といった複数のプロンプティング戦略を採用し、LLMをガイドします。生成されたタスクは、ロボットエージェントのトレーニングおよび評価に使用するため、CliPortフレームワークに統合されます。

対象ユーザー

マルチタスクポリシーのトレーニングや embodied intelligence に取り組むロボット工学研究者やAIエンジニア向けです。より強固なエージェントを訓練するためには、大量の多様なシミュレーションデータが必要となるため、本ツールはそのニーズを満たします。

主な特徴

• 自動タスク作成: LLMを使用してシミュレーションコードとエキスパートゴールを自動的に生成。
• 多様なプロンプティング: 上位から生成や思考の連鎖など、異なるタイプのタスクを生成可能な複数の生成モードをサポート。
• モデルの柔軟性: GPT-4と互換性があり、専用のタスク生成に向けたCode-LLaMAのファインチューニングもサポート。
• ポリシーのベンチマーク: 100以上の生成されたタスクを含み、マルチタスクポリシーのトレーニング用ベンチマークとして利用可能。