NoizAI/HelixWorld
🪐 HelixWorld: real-time interactive audio-visual world model.
解決的問題
HelixWorld 建立了一個即時互動式音訊視覺世界模型。它允許使用者在場景中導航——向前行走或轉身——其中視覺和音訊元件會根據攝影機的移動和使用者的提示動態且同步地更新。
運作方式
從一張圖片和一個文字提示開始，模型生成一個可導航的環境。當使用者提供移動動作（如向前行走或轉身）時，系統會更新圖像和聲音的空間場，確保音訊不是背景音樂，而是跟隨視角的空間感知聲場。
適用對象
對世界模型、互動式 AI 生成環境以及同步音訊視覺生成感興趣的開發人員和研究人員。
亮點
- 音訊影片聯合生成：視覺和聲音同時生成並同步更新。
- 攝影機導航：支援透過 W、A、S、D 鍵和轉身等動作進行漫遊。
- 空間聲場：音訊根據攝影機的視角動態更新。
- 互動式示範：可透過 helixworld.org 的網頁瀏覽器存取。
- 離線推理：預覽版 v1 提供了用於在 NVIDIA GPU 上本地執行的程式碼和檢查點。
相關
- 專案
- 專案
- 專案
- 專案
- 專案