amap-cvlab/ABot-World
Infinite Interactive World Rollout on a Single Desktop GPU
解决的问题
ABot-World 通过创建一个实时、可交互的世界模拟器，解决了 AI 生成内容中被动视频播放的局限性。用户可以通过动作控制环境，实现无限、开放式的探索，而无需受限于固定的视频长度或特定的场景提示。
工作原理
该系统使用因果学生模型（ABot-World-0-5B-LF）和一种称为 LongForcing 的训练技术，生成行动条件化的视频滚动。这使得模型能够即时想象新的场景和动态。系统高度优化以适应消费级硬件，利用专用内核（如 FlashAttention、SageAttention 和 LightX2V）在单个桌面 GPU 上实现实时性能。
适用人群
本项目专为从事世界模型、交互式 AI 环境和实时视频生成的研究人员与开发者设计，也适用于配备高端消费级 GPU 的用户（已特别在 NVIDIA RTX 5090 上测试）。
主要亮点
- 实时性能：在单个 RTX 5090 上以 720p 和 16 FPS 运行，延迟仅 1.2 秒。
- 行动驱动控制：支持持续探索，世界能实时响应用户输入。
- 无限滚动：支持超越传统固定视频长度限制的开放式生成。
- 高效内存使用：GPU 内存占用控制在 19GB 以内。
相关
- 项目
- 项目
- 项目
- 项目
- 项目