LiteReality/LiteReality

[NeurIPS 2025] LiteReality: Graphics-Ready 3D Scene Reconstruction from RGB-D Scans

何を解決するか

LiteRealityは、LiDARを搭載したiPhoneなどのデバイスで取得したRGB-Dスキャンを、高品質でグラフィックス対応の3Dシーンに変換します。現実世界のノイズの多いスキャンと、クリーンでレンダリング可能な3Dモデルの間のギャップを埋め、物理ベースレンダリング（PBR）マテリアルを使用してシーンを再構築します。

動作方法

このシステムは、複数段階のパイプラインでスキャンを処理します：

  1. オブジェクト再構築：スキャンされたシーン内の個々のオブジェクトを識別し、再構築します。
  2. マテリアルペイント：リアルなPBRマテリアルをこれらのオブジェクトに割り当てます。マテリアルデータベースとマルチモーダルモデル（CLIP、DinoV2、Qwen-VL、SAMなど）を活用して視覚的な正確性を確保します。
  3. シーン統合：最終出力は完全な3Dシーンとして統合され、GLBまたはネイティブなBlenderファイルとしてエクスポートされ、プロフェッショナルなレンダリングに使用できます。

対象ユーザー

このツールは、コンピュータビジョン、グラフィックス、ロボティクス分野の研究者や開発者向けに設計されており、実世界の屋内環境を編集可能で高精度な3Dデジタルツインに変換する必要がある人を対象としています。

特徴

  • グラフィックス対応出力：完全なPBRマテリアルを備えたGLTF/GLBおよびBlenderファイルを生成します。
  • マルチモーダル統合：マテリアル割り当てに高度なビジョン・ランゲージモデルを活用します。
  • モバイル対応：Apple RoomPlanおよび3D Scanner Appで取得したスキャンに対応します。
  • エンドツーエンドパイプライン：原始的なRGB-D入力から最終的なレンダリング済みビジュアライゼーションまでを一貫して処理します。

関連

  • プロジェクト
    LiteReality/LiteReality-Agent

    LiteReality‑Agent is an open‑source toolkit that converts a phone‑captured RGB‑D scan (via the LiteReality iOS app) into a fully‑articulated, graphics‑ready indoor 3D scene. An LLM‑driven agent coordinates vision models (TRELLIS, GroundingDINO) and Blender to generate, place, and polish objects, producing GLB/BLEND assets usable in game engines, AR/VR, or robotics. It runs on macOS or Linux, can use Modal’s cloud GPUs or a local ≥24 GB GPU, and requires API keys for image generation and the LLM.

  • プロジェクト
    realsee-developer/RealSee3D

    3D再構成およびセマンティックセグメンテーションのAIモデル学習用に設計された、10,000の屋内シーンを含む大規模なマルチビューRGB-Dデータセット。

  • プロジェクト
    theICTlab/3DUNDERWORLD-SLS-GPU_CPU

    パターン化された光で照射された対象物の画像から 3D ポイントクラウドを再構築する構造光スキャンツールで、CPU と GPU の両方でアクセラレーションが可能です。

  • プロジェクト
    fastvideo/gpu-camera-sample

    NVIDIAハードウェア上で、産業用カメラ向けのリアルタイムGPU加速raw画像処理およびISPパイプラインの高性能サンプルアプリケーション。

  • プロジェクト
    CERN/TIGRE

    PythonとMATLABを用いたGPU加速型のツールボックスで、幅広い反復アルゴリズムと柔軟なCT幾何構成をサポートする、高速かつ高精度な3Dトモグラフィック再構成を実現します。