TornLux/UnrealBridge

何を解決するか

UnrealBridgeは、AIエージェントがUnreal Engineエディタをリアルタイムで制御および編集できるようにする構造化されたインターフェースを提供します。エージェントの高レベルな要求と、Unreal Engineの複雑で、しばしば非公開である内部APIとの間のギャップを埋め、厳格な検証と型定義された操作サーフェスを通じて、エージェントによる修正の失敗率を低減します。

仕組み

このシステムは、Unreal Engine (5.3+) 用のC++プラグインと、Pythonベースのクライアントで構成されています。エージェントはPython CLI (bridge.py) と対話します。このCLIは、1,388個の利用可能な関数のマニフェストに対してASTベースの「プリフライト」チェックを実行し、コマンドがTCP/JSONを介してエディタに送信される前に、ハルシネーション（幻覚）や引数のエラーを捕捉します。Unreal Engine内部では、サーバーがこれらのコマンドをGameThreadにディスパッチし、ネイティブのPython APIまたは特化した UnrealBridge*Library C++ラッパーを介して実行されます。また、このブリッジはリアクティブなイベント購読をサポートしており、ポーリングなしでアセットの変更やアクターのライフサイクルなどのイベントをエディタからエージェントへプロアクティブに通知することが可能です。

対象ユーザー

このツールは、ゲーム開発、自動テスト、およびNPCプロトタイピングのためのAIエージェントを構築している開発者で、Unreal Engineのアセット、ブループリント、およびワールドの状態をプログラムで操作するための信頼できる方法を必要としている方を対象としています。

ハイライト

• ハルシネーション防御: ローカルのASTパースと関数マニフェストを使用して、呼び出しがエンジンに到達する前に検証を行うことで、コール失敗率を大幅に低減します。
• 深いアセット内省: Animation Blueprints、ステートマシン、およびアセットの依存関係ツリーへの包括的な読み取り/書き込みアクセスを提供します。
• VFXおよびリギングワークフロー: Control Rigの階層、IK Retargeter、およびNiagara VFXシステムの作成に特化したライブラリを提供します。
• Blueprintの品質向上ツール: オートレイアウト、孤立したノードや名前のないノードのリンティング、および関数へのサブグラフ抽出などの高度なグラフ操作ツールが含まれています。
• リアクティブなイベントシステム: GASイベント、属性の変更、およびエディタ側の資産修正に対するプロアクティブなコールバックをサポートします。
• ネイティブPython統合: 26個の特化したライブラリと unreal.* APIへの直接アクセスを組み合わせ、すべてがトランザクションでラップされており、完全なUndo/Redoをサポートします。