mani-skill/ManiSkill

解决的问题

ManiSkill 提供了一个高性能的仿真框架，用于训练机器人完成操作任务。它通过利用 GPU 并行化进行物理计算和视觉渲染，解决了传统 CPU 基础仿真器中数据收集和仿真速度慢的瓶颈，使研究人员能够比以往更快地训练具身智能模型。

工作原理

基于 SAPIEN 构建，该框架支持 GPU 并行仿真和视觉数据采集（RGBD 和分割）。它支持异构仿真，即多个并行环境可以各自拥有不同的场景和物体。同时提供任务构建 API，简化 GPU 内存管理，并包含 Real2sim（在仿真中评估真实世界策略）和 Sim2real（将仿真策略部署到物理机器人）的工具。

适用人群

专为从事机器人学习的研究人员和开发者设计，特别是那些专注于使用强化学习、模仿学习或视觉语言动作（VLA）模型进行操作技能研究的人。

主要亮点

• 极高的吞吐量：在单块 NVIDIA 4090 GPU 上可实现超过 30,000 FPS 的视觉数据采集。
• 多样化的机器人形态：支持多种机器人，包括人形机器人、移动操作机器人和单臂机器人。
• 广泛的任务范围：涵盖桌面任务、绘画、清洁和灵巧操作等环境。
• 集成的基线模型：内置针对 PPO、SAC、Diffusion Policy 以及大型 VLA 模型（如 Octo 和 RDT-1B）优化的基线。