unrealcv/unrealcv

它解决了什么问题

UnrealCV 在 Unreal Engine (UE) 与外部 AI 框架（如 PyTorch 或 TensorFlow）之间提供了一个桥梁，使计算机视觉研究人员能够创建和使用虚拟世界作为合成数据源或 AI 代理的训练环境。

它如何工作

它作为一个 Unreal Engine 插件运行，实现游戏引擎与外部程序之间的通信。它提供了一组特定命令，用于与虚拟世界交互、控制摄像头和操作物体。用户可以使用已编译的带有 UnrealCV 嵌入的游戏二进制文件，也可以将插件安装到引擎中以构建自己的自定义环境。

适用于谁

需要高保真合成环境来训练和测试 AI 模型的计算机视觉研究人员，特别是专注于感知和交互的研究者。

主要特点

• 引擎集成：支持 Unreal Engine 5.2 及更高版本。
• 外部控制：允许外部程序通过命令系统对虚拟世界进行程序化控制。
• 合成数据：支持光流图像捕获和真实感渲染，用于数据集生成。
• 蓝图集成：支持直接从 Python 调用蓝图函数。
• 灵活部署：既可作为开发者的插件使用，也可作为预构建二进制文件供非引擎用户使用。