SimWorld-AI/SimWorld

何を解決するか

SimWorld は、現実的な物理的・社会的環境で LLM/VLM（大規模言語モデル/視覚言語モデル）エージェントの開発と評価を行うための現実的でオープンエンドなシミュレーションプラットフォームです。実世界への展開に伴うリスクやコストを回避しつつ、ナビゲーション、計画、戦略的協力などのタスクに取り組むための複雑な物理的・社会的環境を提供します。

仕組み

Unreal Engine 5 を基盤として構築されたこのプラットフォームは、3層アーキテクチャを採用しています：

1. Unreal Engine バックエンド：物理シミュレーション、豊富なアセット、環境を処理します。
2. 環境レイヤー：手続き型都市生成、言語駆動型シーン編集を管理し、エージェントとのインタラクションに Gym に似た API を提供します。
3. エージェントレイヤー：LLM/VLM エージェントがマルチモーダル観測（RGB、深度、セグメンテーション）を処理し、ローカルなアクションプランナーを通じて行動を実行できるようにします。

ユーザーは都市シーンのベースパッケージからスタートでき、100以上の事前構築済みマップや独自の環境・アセット用の .pak ファイルをカスタムで追加できます。

対象ユーザー

Embodied AI、自律エージェント、および LLM/VLM のマルチモーダル推論に取り組む研究者や開発者向けに設計されています。

特徴

• マルチモーダル認識：エージェントの観測に RGB 画像、深度マップ、セグメンテーションマスクをサポートします。
• 手続き型生成：多様なシナリオを生成するための言語駆動型手続き型都市生成機能を備えています。
• Gym に似たインターフェース：エージェントの学習と評価に馴染みのある API を提供します。
• カスタマイズ可能：独自の Unreal Engine 環境、アセット、エージェントモデルをインポートできます。
• オープンエンドな世界：正確な物理シミュレーションと社会的推論シナリオを組み合わせ、複雑な行動のテストが可能です。