Visionary-Laboratory/visionary

Visionary: The World Model Carrier Built on WebGPU-Powered Gaussian Splatting Platform

解决的问题

Visionary 解决了直接在网页浏览器中渲染复杂 3D 神经表示(如高斯泼溅 (3DGS)、4DGS 和神经化身)的难题。它提供了一个统一的高性能平台,弥合了先进 3D AI 研究模型与可访问的实时 Web 部署之间的差距。

工作原理

该平台基于 WebGPU 实现高性能并行渲染,并利用 ONNX Runtime 进行逐帧神经推理。它采用标准化的“高斯生成器”契约,允许开发者插入各种算法来动态生成或更新 3D 粒子。它还支持混合渲染,通过管理深度合成,实现高斯点云与传统 3D 网格的无缝混合。

适用人群

本项目面向从事 3D 计算机视觉、神经渲染和世界模型的研究人员和开发者,他们需要一个轻量级、"点击即运行"的基于浏览器的环境来可视化、比较和部署其 3DGS 系列模型,而无需依赖重量级桌面软件。

亮点

  • 原生 WebGPU 加速:在浏览器中直接实现数百万高斯粒子的高性能渲染。
  • 混合架构:自动处理神经点云与标准 3D 网格之间的遮挡和深度混合。
  • 通用资产支持:单一界面加载多种格式,包括 PLY、SPLAT、GLB 和基于 ONNX 的动态模型。
  • 可扩展设计:提供标准化契约,用于集成自定义算法和生成式后处理网络。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目