Visionary-Laboratory/visionary

What it solves

Visionary 提供了一種高性能、網頁原生的方式，使用 Gaussian Splatting 和傳統 meshes 進行複雜 3D 場景的渲染。它通過允許在瀏覽器中直接進行即時渲染和神經網絡處理，消除了對沉重軟件安裝的需求，降低了部署和比較 3DGS-family 方法的門檻。

How it works

基於 WebGPU 和 ONNX Runtime，該平台使用了一種混合渲染架構，處理 Gaussian point clouds 與標準 3D meshes 之間的深度混合。它採用了標準化的 "Gaussian Generator" 合約，允許它進行每幀 ONNX 推理，以動態生成或更新 Gaussians。這使得它能夠支持從靜態 3DGS 到動態 4DGS 和神經化身 (neural avatars) 以及前饋生成式後處理的廣泛資產。

Who it's for

它是為從事神經渲染、世界模型和 3D 場景重建的研究人員和開發人員設計的，他們希望通過簡潔的 TypeScript API 和 three.js 集成來將其模型部署到 Web 端。

Highlights

• WebGPU Powered: 上述基於 WebGPU 的高性能並行排序和數百萬個 Gaussian particles 進行渲染。
• Hybrid Rendering: Gaussian splats 與標準 3D meshes 之間的無縫深度合成，以解決遮擋問題。
• Universal Loader: 支持廣泛的格式，包括 PLY, SPLAT, GLB, GLTF, FBX, OBJ, 和 ONNX-exported models。
• Extensible Architecture: 允許用戶將其自定義算法導出到 ONNX 以實現即插即用的渲染。