Visionary-Laboratory/visionary

解決する課題

Visionary は、ガウス スプラッティング (3DGS)、4DGS、ニューラル アバターなどの複雑な 3D ニューラル表現を Web ブラウザ上で直接レンダリングする際の困難さに対処します。高度な 3D AI 研究モデルと、アクセスしやすいリアルタイム Web 展開の間のギャップを埋める、統合された高性能プラットフォームを提供します。

仕組み

このプラットフォームは、高性能な並列レンダリングに WebGPU を採用し、フレームごとのニューラル推論に ONNX Runtime を利用します。標準化された「ガウス ジェネレーター」コントラクトを備え、開発者はさまざまなアルゴリズムをプラグインして 3D パーティクルを動的に生成または更新できます。また、深度合成を管理することで、ガウス点群と従来の 3D メッシュをシームレスに混合できるハイブリッド レンダリングもサポートしています。

対象ユーザー

このプロジェクトは、3D コンピューター ビジョン、ニューラル レンダリング、ワールド モデルに取り組む研究者や開発者を対象としており、重量級のデスクトップ ソフトウェアを必要とせずに、3DGS ファミリーのモデルを視覚化、比較、展開できる軽量な「クリックして実行」のブラウザベース環境を必要としています。

ハイライト

• ネイティブ WebGPU アクセラレーション: ブラウザ上で数百万のガウス パーティクルを直接高性能レンダリングします。
• ハイブリッド アーキテクチャ: ニューラル点群と標準 3D メッシュ間のオクルージョンと深度混合を自動的に処理します。
• ユニバーサル アセット サポート: PLY、SPLAT、GLB、ONNX ベースの動的モデルなど、さまざまな形式を読み込むための単一インターフェイス。
• 拡張可能な設計: カスタム アルゴリズムと生成後処理ネットワークを統合するための標準化されたコントラクトを提供します。