unrealcv: 连接 Unreal Engine 与 AI 框架以创建合成计算机视觉环境的桥梁

它解决了什么问题

计算机视觉研究人员通常需要高质量的虚拟环境来训练和测试他们的算法。UnrealCV 提供了一种弥合强大的游戏引擎 (Unreal Engine) 与 PyTorch 或 TensorFlow 等 AI 框架之间差距的方法，允许研究人员以编程方式生成合成数据并与虚拟世界进行交互。

工作原理

该项目由一个 Unreal Engine 插件 (Server) 和一个 Python 客户端组成。该插件通过一组命令扩展了引擎，允许外部程序控制相机、操作对象并捕获图像或光流 (optical flow)。这种通信方式允许 Python 脚本将虚拟世界视为数据源或仿真环境。

适用人群

希望创建合成训练数据集或在真实的 3D 环境中测试 AI 智能体，而无需具备深厚的游戏开发专业知识的计算机视觉研究人员和开发人员。

亮点

• 支持 Unreal Engine 5.6。
• 能够捕获光流 (optical flow) 图像。
• 通过专用客户端库与 Python 集成。
• 能够直接从 Python 调用 Blueprint 函数。
• 支持在 Linux 上进行 RPC 通信，以提高性能和可靠性。