unrealcv/unrealcv

解決的問題

UnrealCV 提供了 Unreal Engine (UE) 與外部 AI 框架（如 PyTorch 或 TensorFlow）之間的橋樑，讓電腦視覺研究人員能夠建立並使用虛擬世界作為合成資料來源或訓練 AI 代理的環境。

工作原理

它作為 Unreal Engine 的外掛程式運作，使遊戲引擎與外部程式之間能夠通訊。它提供了一組特定指令，用於與虛擬世界互動、控制相機以及操縱物件。使用者可以使用內建 UnrealCV 的預編譯遊戲二進位檔，或將外掛程式安裝到引擎中，以建立自己的自訂環境。

適用對象

需要高保真合成環境來訓練和測試 AI 模型的電腦視覺研究人員，特別是專注於感知與互動的研究者。

主要特色

• 引擎整合：支援 Unreal Engine 5.2 及以後版本。
• 外部控制：允許外部程式透過指令系統以程式化方式控制虛擬世界。
• 合成資料：支援光流影像擷取與真實感渲染，用於資料集產生。
• Blueprint 整合：可直接從 Python 呼叫 Blueprint 函數。
• 彈性部署：既可作為開發者使用的外掛程式，也可作為非引擎使用者的預建二進位檔使用。

"UnrealCV 讓我們能以高精度模擬真實世界，大幅加速 AI 模型的訓練與驗證過程。" — @unrealcv