unrealcv/unrealcv

何を解決するか

UnrealCVは、Unreal Engine (UE) と PyTorch や TensorFlow といった外部のAIフレームワークとの間の架け橋を提供し、コンピュータビジョン研究者が仮想世界を合成データソースやAIエージェントのトレーニング環境として作成・利用することを可能にします。

仕組み

Unreal Engineのプラグインとして機能し、ゲームエンジンと外部プログラム間の通信を可能にします。仮想世界との対話、カメラの制御、オブジェクトの操作を行うための特定のコマンドセットを提供します。ユーザーは、UnrealCVが組み込まれた事前コンパイル済みのゲームバイナリを使用するか、エンジンにプラグインをインストールして独自のカスタム環境を構築することができます。

対象者

AIモデルのトレーニングとテスト、特に知覚とインタラクションに焦点を当てている研究者で、高忠実度の合成環境を必要とするコンピュータビジョン研究者。

ハイライト

• Engine Integration: Unreal Engine 5.2 以降をサポート。
• External Control: コマンドシステムを介して、外部プログラムが仮想世界をプログラム的に制御することを可能にします。
• Synthetic Data: データセット生成のためのオプティカルフロー画像のキャプチャとリアルなレンダリングをサポート。
• Blueprint Integration: PythonからBlueprint関数を直接呼び出すことを可能にします。
• Flexible Deployment: 開発者向けのプラグインと、エンジンを使用しないユーザー向けの事前構築済みバイナリの両方で利用可能です。