xavierpuigf/virtualhome

What it solves

VirtualHome は、複雑な家庭活動のシミュレート環境を提供し、研究者が合成データを生成し、実際の住宅でロボットを使用せずに具現化 AI タスク用エージェントを訓練できるようにします。データ不足や、AI エージェントが家庭環境と相互作用する際の安全リスクという問題を解決します。

How it works

このプラットフォームは、ビジュアルレンダリング用の Unity ベースシミュレータと、"プログラム"（アクションシーケンス）を実行する Python API を組み合わせて使用します。主に以下の 2 つのシミュレーションモードがあります：

• Unity Simulator：Python スクリプトに基づき、高忠実度のビデオやスナップショットをレンダリングします。
• Evolving Graph：軽量な Python のみのシミュレータで、環境状態をグラフとして追跡し、オブジェクトとその関係が時間とともにどのように変化するかを表現します。

Who it’s for

具現化 AI、強化学習、コンピュータビジョンの研究者向けに設計されており、人間に似た活動をシミュレートし、セマンティックセグメンテーションやオプティカルフローといった真値データを生成するための制御された環境を提供します。

Highlights

• Interactive Environment：物体のピックアップや家電の操作など、複雑なインタラクションをサポート。
• Procedural Generation：無限に多様なユニークな家庭環境を生成可能。
• RL Integration：OpenAI Gym ライクな環境を含み、Ray との互換性で並列学習が可能。
• Ground-Truth Streaming：タイムスタンプ付きのアクション、深度、インスタンス/セマンティックセグメンテーションを提供。
• Multi-Agent Support：複数エージェントが関与する活動のシミュレーションを可能にします。