Visionary-Laboratory/visionary

What it solves

Visionaryは、Gaussian Splattingと従来のメッシュを使用して、複雑な3Dシーンをレンダリングするための高性能でWebネイティブな方法を提供します。ブラウザ上でリアルタイムレンダリングとニューラル処理を直接行うことを可能にすることで、重いソフトウェアのインストールを不要にし、3DGS-family手法のデプロイと比較の障壁を低くします。

How it works

WebGPUとONNX Runtimeをベースに構築されたこのプラットフォームは、Gaussianポイントクラウドと標準的な3Dメッシュ間の深度混合を処理するハイブリッドレンダリングアーキテクチャを採用しています。標準化された"Gaussian Generator"コントラクトを採用しており、フレームごとにONNX推論を実行してGaussianを動的に生成または更新できます。これにより、静的な3DGSから動的な4DGSやニューラルアバター、さらにはフィードフォワード生成型ポストプロセッシングまで、幅広いアセットをサポートします。

Who it's for

ニューラルレンダリング、ワールドモデル、3Dシーン再構成に取り組む研究者や開発者向けに設計されており、簡潔なTypeScript APIとthree.jsの統合により、モデルをWebにデプロイしたいと考えています。

Highlights

• WebGPU Powered: 数百万のGaussianパーティクルを高性能に並列ソートおよびレンダリング。
• Hybrid Rendering: Gaussian splatと標準的な3Dメッシュ間のシームレスな深度合成により、オクルージョン問題を解決。
• Universal Loader: PLY, SPLAT, GLB, GLTF, FBX, OBJ, およびONNXエクスポートされたモデルを含む、膨大な種類のアセット形式をサポート。
• Extensible Architecture: 独自のカスタムアルゴリズムをONNXにエクスポートして、プラグアンドプレイのレンダリングを可能にします。