mani-skill/ManiSkill

解決的問題

ManiSkill 提供一個高性能的模擬框架，用於訓練機器人執行操作任務。它透過利用 GPU 並行化進行物理計算與視覺渲染，解決了傳統 CPU 基礎模擬器中資料收集與模擬速度慢的瓶頸，使研究人員能比以往更快地訓練具身智能模型。

工作原理

基於 SAPIEN 建構，該框架支援 GPU 並行模擬與視覺資料收集（RGBD 與分割）。支援異質模擬，即多個平行環境可各自擁有不同的場景與物件。同時提供任務建構 API，簡化 GPU 記憶體管理，並包含 Real2sim（在模擬中評估真實世界策略）與 Sim2real（將模擬策略部署至實體機器人）的工具。

適用對象

專為從事機器人學習的研究人員與開發者設計，特別是那些專注於使用強化學習、模仿學習或視覺語言行動（VLA）模型進行操作技能研究的人。

主要亮點

• 極高的吞吐量：在單一 NVIDIA 4090 GPU 上可達超過 30,000 FPS 的視覺資料收集。
• 多樣化的機器人形態：支援多種機器人，包括人形機器人、移動操作機器人與單臂機器人。
• 廣泛的任務範圍：涵蓋桌面任務、繪畫、清潔與靈巧操作等環境。
• 整合的基線模型：內建針對 PPO、SAC、Diffusion Policy 以及大型 VLA 模型（如 Octo 與 RDT-1B）優化的基線。