unrealcv: 一個連接 Unreal Engine 與 AI 框架以建立合成電腦視覺環境的橋樑

它解決了什麼問題

電腦視覺研究人員通常需要高品質的虛擬環境來訓練和測試他們的演算法。UnrealCV 提供了一種方式，在強大的遊戲引擎（Unreal Engine）與 PyTorch 或 TensorFlow 等 AI 框架之間建立橋樑，讓研究人員能夠以程式化方式生成合成數據並與虛擬世界互動。

運作原理

該專案包含一個 Unreal Engine 插件（伺服器端）和一個 Python 客戶端。該插件擴展了引擎的功能，提供了一系列指令，允許外部程式控制攝影機、操作物件，並擷取影像或光流（optical flow）。這種通訊方式讓 Python 腳本可以將虛擬世界視為數據來源或模擬環境。

目標對象

想要建立合成訓練數據集，或是在不需要深厚的遊戲開發專業知識的情況下，於真實的 3D 環境中測試 AI 代理（agents）的電腦視覺研究人員與開發者。

重點功能

• 支援 Unreal Engine 5.6。
• 能夠擷取光流（optical flow）影像。
• 透過專用的客戶端函式庫與 Python 整合。
• 能夠直接從 Python 呼叫 Blueprint 函數。
• 在 Linux 上支援 RPC 通訊，以提升效能與可靠性。