SimWorld-AI/SimWorld

解決的問題

SimWorld 提供一個真實、開放式的模擬平台，用於開發與評估 LLM/VLM（大型語言模型/視覺語言模型）代理。它解決了在複雜的物理與社會環境中測試具身人工智慧任務（如導航、規劃與戰略合作）的需求，而無需承擔現實世界部署所帶來的風險或成本。

工作原理

基於 Unreal Engine 5 建構，該平台採用三層架構：

1. Unreal Engine 後端：負責物理模擬、豐富的資產與環境管理。
2. 環境層：管理程序化城市生成、語言驅動的場景編輯，並提供類似 Gym 的 API 供代理互動。
3. 代理層：允許 LLM/VLM 代理處理多模態觀測（RGB、深度、分割）並透過本地動作規劃器執行動作。

使用者可從城市場景的基礎套件開始，或透過超過 100 個預建地圖以及自訂的 .pak 檔案擴展自己的模擬環境與資產。

適用對象

專為從事具身人工智慧、自主代理以及 LLM 與 VLM 多模態推理的研究人員與開發者設計。

主要亮點

• 多模態感知：支援 RGB 圖像、深度圖與分割遮罩作為代理的觀測輸入。
• 程序化生成：支援基於語言的程序化城市生成，以創造多樣化場景。
• 類似 Gym 的介面：提供熟悉的 API，便於在模擬環境中訓練與評估代理。
• 可自訂：支援匯入使用者自己的 Unreal Engine 環境、資產與代理模型。
• 開放世界：結合精確物理與社會推理場景，支援複雜行為測試。