spear-sim/spear

何を解決するか

SPEARは、既存の写実的シミュレータに見られる一般性の欠如、プログラマビリティの低さ、および遅いレンダリング速度といった課題に対処します。Pythonを用いて任意のUnreal Engine (UE) アプリケーションをプログラム的に制御する方法を提供し、エンタープライズAI研究向けに複雑で決定論的なシミュレーションを構築できます。

動作方法

SPEARは、モジュール式プラグインアーキテクチャを介してUnreal Engineアプリケーションに接続するPythonライブラリです。UEのリフレクションシステムで可視なC++関数や変数にアクセスできるように、Pythonに14,000以上のユニークなUE関数を公開しています。トランザクションベースのプログラミングモデルを採用しており、begin_frame と end_frame コンテキスト内で作業を定義することで、1つのUEフレーム内での決定論的実行を保証します。

対象ユーザー

エムベデッドAI、合成データ生成、ロボティクス分野の研究者向けです。シーンやエージェントに対して深いプログラム制御が可能な、高精細で写実的な環境が必要な方々に最適です。

主な特徴

• 高性能レンダリング: 1920x1080の写実的画像をNumPy配列に直接レンダリングし、73 FPSで実行可能。
• 広範なAPI: 14,000以上のUE関数を公開しており、従来のシミュレータと比べて大幅にプログラム可能機能を拡張。
• 高度なセンサモダリティ: 深度、表面法線、セマンティックID、非拡散的イントリニック画像分解などの真値データを提供。
• 柔軟なエージェント制御: 人間、車両、ロボットなど多様なエージェントを、さまざまなUEプロジェクトで制御可能。
• コシミュレーション対応: MuJoCoなどの外部物理シミュレータと連携可能。
• 自然言語インターフェース: AIコーディングアシスタントを介して自然言語プロンプトによるエージェントシーン編集をサポート。