Visionary-Laboratory/visionary

Visionary: The World Model Carrier Built on WebGPU-Powered Gaussian Splatting Platform

What it solves

Visionary는 Gaussian Splatting과 전통적인 mesh를 사용하여 복잡한 3D 장면을 렌더링하는 고성능 웹 네이티브 방식을 제공합니다. 브라우저에서 직접 실시간 렌더링과 신경망 처리를 가능하게 함으로써 무거운 소프트웨어 설치의 필요성을 없애고, 3DGS-family 방법의 배포 및 비교 장벽을 낮춥니다.

How it works

WebGPU와 ONNX Runtime을 기반으로 구축된 이 플랫폼은 Gaussian point clouds와 표준 3D mesh 간의 깊이 혼합을 처리하는 하이브리드 렌더링 아키텍처를 사용합니다. 표준화된 "Gaussian Generator" 계약을 채택하여 프레임당 ONNX 추론을 실행함으로써 Gaussian을 동적으로 생성하거나 업데이트할 수 있습니다. 이를 통해 정적 3DGS부터 동적 4DGS 및 뉴럴 아바타, 그리고 피드포워드 생성형 후처리까지 광범위한 에셋을 지원합니다.

Who it's for

간결한 TypeScript API와 three.js 통합을 통해 모델을 웹에 배포하고자 하는 뉴럴 렌더링, 월드 모델 및 3D 장면 재구성 분야의 연구자와 개발자를 위해 설계되었습니다.

Highlights

  • WebGPU Powered: 수백만 개의 Gaussian 입자를 고성능 병렬 정렬 및 렌더링.
  • Hybrid Rendering: Gaussian splats와 표준 3D mesh 간의 원활한 깊이 합성으로 폐쇄(occlusion) 문제를 해결.
  • Universal Loader: PLY, SPLAT, GLB, GLTF, FBX, OBJ 및 ONNX-exported 모델을 포함한 방대한 형식을 지원.
  • Extensible Architecture: 사용자가 자체 커스텀 알고리즘을 ONNX로 내보내어 플러그 앤 플레이 렌더링을 할 수 있도록 허용.