Visionary-Laboratory/visionary

해결하는 문제

Visionary는 가우시안 스플래팅(3DGS), 4DGS, 뉴럴 아바타와 같은 복잡한 3D 신경 표현을 웹 브라우저에서 직접 렌더링하는 어려움을 해결합니다. 고급 3D AI 연구 모델과 접근 가능한 실시간 웹 배포 사이의 격차를 메우는 통합된 고성능 플랫폼을 제공합니다.

작동 방식

이 플랫폼은 고성능 병렬 렌더링을 위해 WebGPU를 기반으로 하며, 프레임별 신경 추론을 위해 ONNX Runtime을 활용합니다. 표준화된 "가우시안 생성기" 계약을 제공하여 개발자가 다양한 알고리즘을 플러그인하여 3D 파티클을 동적으로 생성하거나 업데이트할 수 있습니다. 또한 하이브리드 렌더링을 지원하여 깊이 합성을 관리함으로써 가우시안 포인트 클라우드와 기존 3D 메시를 원활하게 혼합할 수 있습니다.

대상 사용자

이 프로젝트는 3D 컴퓨터 비전, 신경 렌더링 및 월드 모델을 연구하는 연구자와 개발자를 대상으로 하며, 무거운 데스크톱 소프트웨어 없이 3DGS 계열 모델을 시각화, 비교 및 배포할 수 있는 가벼운 "클릭 투 런" 브라우저 기반 환경이 필요한 사람들을 위한 것입니다.

주요 기능

• 네이티브 WebGPU 가속: 브라우저에서 수백만 개의 가우시안 파티클을 직접 고성능으로 렌더링합니다.
• 하이브리드 아키텍처: 신경 포인트 클라우드와 표준 3D 메시 간의 폐색 및 깊이 혼합을 자동으로 처리합니다.
• 범용 자산 지원: PLY, SPLAT, GLB 및 ONNX 기반 동적 모델을 포함한 다양한 형식을 로드하는 단일 인터페이스.
• 확장 가능한 설계: 사용자 정의 알고리즘 및 생성적 후처리 네트워크를 통합하기 위한 표준화된 계약을 제공합니다.