NoizAI/HelixWorld
🪐 HelixWorld: real-time interactive audio-visual world model.
解决的问题
HelixWorld 创建了一个实时交互式视听世界模型。它允许用户在场景中导航——向前行走或转身——其中视觉和音频组件会根据摄像头的移动和用户的提示动态且同步地更新。
工作原理
从一张图片和一个文本提示开始，模型生成一个可导航的环境。当用户提供移动动作（如向前行走或转身）时，系统会更新图像和声音的空间场，确保音频不是背景音乐，而是跟随视角的空间感知声场。
适用人群
对世界模型、交互式 AI 生成环境以及同步视听生成感兴趣的开发者和研究人员。
亮点
- 音视频联合生成：视觉和声音同时生成并同步更新。
- 相机导航：支持通过 W、A、S、D 键和转身等动作进行漫游。
- 空间声场：音频根据相机的视角动态更新。
- 交互式演示：可通过 helixworld.org 的网页浏览器访问。
- 离线推理：预览版 v1 提供了用于在 NVIDIA GPU 上本地运行的代码和检查点。
相关
- 项目
- 项目
- 项目
- 项目
- 项目