spear-sim/spear

解决的问题

SPEAR 解决了现有写实模拟器普遍存在的局限性，如泛化能力差、编程性弱、渲染速度慢等问题。它通过 Python 提供对任意 Unreal Engine (UE) 应用程序的程序化控制，使研究人员能够为具身智能研究创建复杂且确定性的模拟环境。

工作原理

SPEAR 是一个通过模块化插件架构与 Unreal Engine 应用程序连接的 Python 库。它向 Python 暴露了超过 14,000 个独特的 UE 函数，允许用户访问 UE 反射系统可见的 C++ 函数和变量。它采用基于事务的编程模型，通过在 begin_frame 和 end_frame 上下文中定义工作，确保在单个 UE 帧内实现确定性执行。

适用人群

专为具身智能、合成数据生成和机器人领域的研究人员设计，他们需要对场景和智能体具有深度程序控制能力的高保真、写实环境。

主要亮点

• 高性能渲染： 以 73 FPS 的速度将 1920x1080 的写实图像直接渲染到 NumPy 数组中。
• 丰富的 API： 暴露超过 14,000 个 UE 函数，相比以往模拟器显著提升了可编程功能。
• 先进的传感器模态： 提供深度、表面法线、语义 ID 以及非漫反射内在图像分解等真实数据。
• 灵活的智能体控制： 支持在多个 UE 项目中控制多样化的智能体（人类、车辆、机器人）。
• 支持协同仿真： 可与 MuJoCo 等外部物理模拟器协同工作。
• 自然语言接口： 通过 AI 编码助手支持通过自然语言提示进行智能体场景编辑。