NoizAI/HelixWorld
🪐 HelixWorld: real-time interactive audio-visual world model.
해결하는 문제
HelixWorld는 실시간 인터랙티브 오디오-비주얼 월드 모델을 생성합니다. 사용자가 씬을 탐색(앞으로 걷기나 회전)할 때, 카메라의 움직임과 사용자의 프롬프트에 따라 시각 및 오디오 구성 요소가 동적으로 동기화되어 업데이트됩니다.
작동 방식
이미지와 텍스트 프롬프트를 시작으로, 모델은 탐색 가능한 환경을 생성합니다. 사용자가 이동 동작(앞으로 걷기나 회전 등)을 제공하면, 시스템은 이미지와 사운드의 공간 필드를 업데이트하여 오디오가 사운드트랙이 아니라 시점에 따라 움직이는 공간 인지형 사운드 필드임을 보장합니다.
대상 사용자
월드 모델, 인터랙티브 AI 생성 환경, 동기화된 오디오-비주얼 생성에 관심 있는 개발자와 연구자.
하이라이트
- 오디오-비디오 동시 생성: 시각과 사운드가 함께 생성되고 동기화되어 업데이트됩니다.
- 카메라 내비게이션: W, A, S, D 키 및 회전과 같은 동작을 통한 이동 지원.
- 공간 사운드 필드: 오디오가 카메라의 관점에 따라 동적으로 업데이트됩니다.
- 인터랙티브 데모: helixworld.org 웹 브라우저를 통해 이용 가능합니다.
- 오프라인 추론: 프리뷰 v1은 NVIDIA GPU에서 로컬 실행을 위한 코드와 체크포인트를 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트