AgibotTech/genie_sim

解決的問題

Genie Sim 是一個全面的模擬平台，旨在加速具身智能（機器人學）的開發。它透過提供高保真環境重建、合成資料收集以及機器人策略的自動評估工具，減少對實體硬體的依賴。

工作原理

該平台結合了 3D 重建（使用 3D 高斯潑濺）與視覺生成模型，創造逼真的模擬環境。它利用 LLM 從自然語言提示生成多樣化的場景，並提供與 ROS 2 集成的即時（RT）引擎以實現互動式模擬。系統包含一個包含超過 10 萬個場景的基準測試套件，用於評估模型在操作與認知方面的能力。

適用對象

專為專注於具身 AI 的機器人開發者與 AI 研究人員設計，特別是那些需要生成大規模合成資料集，或在部署至真實硬體前驗證機器人策略的使用者。

主要亮點

• LLM 驅動的場景生成：透過對話式互動即時創建複雜模擬場景。
• 面向智能體的 SKILLs：機器可讀的配方，使 AI 編碼智能體（如 Claude Code）無需人工干預即可操作模擬器。
• 高保真資產庫：涵蓋零售、工業、餐飲、家庭與辦公環境的 5,000 多個經過驗證的 3D 資產。
• 零樣本模擬到現實遷移：生成的合成資料可使模型以高成功率將能力遷移到真實機器人上。
• 基於 VLM 的自動評估：使用視覺-語言模型（VLM）的自動化系統，對模型的操作與認知技能進行分析。