LiteReality/LiteReality-Agent

LiteReality-Agent – スマートフォンで撮影した部屋のスキャンを物理演算対応の3Dシミュレーションに変換

概要 – LiteReality iOSスキャンアプリで生成されたRGB-Dスキャンを取り込み、完全にアーティキュレートされたシミュレーション対応の室内シーンを自動構築するオープンソースのエンドツーエンドツールキットです。このパイプラインは、AI駆動のモジュール群（レイアウトのクリーンアップ、オブジェクトのアーティキュレーション、マテリアル生成、物理パラメータの推論）を実行し、最終的にMuJoCo互換のURDF/MJCFファイル、Blenderシーン、またはGLBアセットとして結果を出力します。

重要性 – ロボット工学の研究者や開発者は、シミュレーションや強化学習の実験にシーンを使用する前に、スキャンの手動クリーンアップ、コライダーの追加、質量の割り当てに何時間も費やすことがよくあります。LiteReality-Agentはこのワークフロー全体を自動化し、30秒のスマホスキャンから、リアルな質量、慣性、関節、衝突ジオメトリを備えたMuJoCoシーンへの変換を単一のコマンドで実現します。

主な機能（READMEより）

機能	リポジトリの役割
スキャン取り込み	LiteReality Scannerが生成する `room.usdz` パッケージ（RGBフレーム、深度、ジオメトリ）を受け入れます。
レイアウトのクリーンアップ	レイアウトエージェントが、オブジェクト構築前にノイズの多い生スキャンを衝突のないフロアプランに解決します。
アーティキュレートアセット生成	Articraft アプローチを使用して、オブジェクトパーツ、関節、質量、慣性、コライダーを推論します。各オブジェクトは個別の剛体となります。
マテリアルと視覚の洗練	LLMベースのエージェント（GPT-6搭載の `codex`、`claude`）と画像生成API（OpenAIまたはGemini）を呼び出し、参照テクスチャを合成して視覚的忠実度を向上させます。
物理エクスポート	MuJoCoに直接読み込めるURDFおよびMJCFファイルを生成します。また、Unity/Unreal/Webビューア用のBlender (`.blend`) およびGLBファイルも出力します。
ライブプレビュー	`--live` を使用すると、CLIがシーン構築の過程をステップバイステップで表示するWebビューアをストリーミングします。
シェイクテスト	内蔵のMuJoCo「シェイク」ステージがオブジェクトの動きを測定し、物理パラメータが妥当であることを確認します。

標準的なワークフロー

キャプチャ – 無料の LiteReality Scanner iOSアプリを使用して部屋を歩き回ります（room.usdz が生成されます）。
アップロード – スキャンフォルダをツールキットを実行するマシンにコピーします。
セットアップ – uv を使用してPython環境をインストールし、BLENDER_PATH をBlender 5.xに指定し、APIキー（OPENAI_API_KEY または GEMINI_API_KEY）とホスト型GPUモデル用のModalトークンを提供します。
実行 – 1つのコマンドですべてを実行します：
```
uv run litereality run scans/<your-scan>
```
ステージ1 (scene init) が決定論的なシードルームを作成し、ステージ2 (authoring) がジオメトリの洗練、アーティキュレーションの追加、マテリアルの調整を行うエージェントパスを実行します。
シミュレーション – MuJoCoにエクスポートし、オプションでシェイクテストを実行します：
```
uv run litereality stage simulate run/<scan> --shake
```
検査 – ローカルまたはインタラクティブなWebビューアで最終的なGLB/Blenderファイルを確認します。

インストールのポイント

パッケージマネージャー: uv（高速で決定論的なロックファイル）。uv sync --frozen --extra modal --group dev でインストールします。
依存関係: Blender 5.x、GPU対応モデルバックエンド（TRELLIS + GroundingDINO）。デフォルトでは、これらの重いモデルは Modal（無料枠）で実行されるため、GPUのないMacでもツールキットを使用できます。
環境変数: 画像生成用APIキー、Modal認証情報、BLENDER_PATH、スキャンを含むディレクトリ。
初回モデルデプロイ: uv run litereality setup がリモートコンテナをプロビジョニングします。

推奨ユーザー

ロボット工学研究者: Sim-to-Real転送、操作計画、強化学習のためにリアルな室内環境を必要とする方。
ゲーム/VR開発者: 実際の部屋の物理的に正確なプロトタイプを素早く作成したい方。
コンピュータビジョン研究室: 3D再構築、レイアウト推論、アーティキュレートオブジェクト検出を研究している方。
教育者: センサーデータからシミュレーションまでのエンドツーエンドのパイプラインを実演したい方。

現在のステータス（README時点）

バージョン 0.0 2026-08-01リリース。
シミュレーション対応（MuJoCoエクスポート）2026-09-12追加。
手続き型物理（質量、慣性、関節）Articraft経由で2026-09-09統合。
レイアウトエージェント 2026-09-07導入。
論文 arXiv (2610.01863) に2026-10-01掲載。

引用

研究でこのシステムを使用する場合は、付属のarXiv論文を引用してください：

@misc{huang2026literealityagentagenticinteractable3d,
  title = {LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction},
  author = {Zhening Huang and Yueyan Li and Johnathan Chiu and Xiaoyang Lyu and Matt Zhou and Yuxin Yao and Joan Lasenby and Shangzhe Wu},
  year = {2026},
  eprint = {2610.01863},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  url = {https://arxiv.org/abs/2610.01863}
}

結論 – LiteReality-Agentは、モバイルRGB-Dスキャンと物理ベースのシミュレーションの橋渡しをする、本格的な研究グレードのオープンソースシステムであり、従来は手動の3Dモデリングやリギングが必要だった多くのステップを自動化します。