Robbyant/lingbot-world

解决的问题

LingBot-World 是一个开源的世界模拟器，旨在生成高保真、交互式的视频环境。它解决了在多种风格（写实、科学、卡通）中保持时间一致性和鲁棒动力学的挑战，同时允许实时用户交互和长期记忆（分钟级视野）。

工作原理

该项目基于 Wan2.2 框架构建，提供多个模型版本：

• Base (Cam): 由相机姿态（内参和变换矩阵）控制。
• Base (Act): 由特定动作控制，包括一个用户友好的动作字符串接口。
• Fast: 使用 KV 缓存和分块处理进行因果推理的加速版本，将 16 FPS 输出的延迟降低到 1 秒以下。

适用对象

该工具面向内容创作、游戏和机器人学习领域的开发人员和研究人员，他们需要一个可控的、交互式的世界模型来进行环境模拟。

亮点

• 实时交互性：实现亚秒级的交互式渲染延迟。
• 长期记忆：能够生成长达一分钟的连贯视频。
• 多样化环境：支持从写实到卡通的广泛视觉风格。
• 可控生成：支持通过相机姿态和动作字符串进行控制。
• 量化版本：为 GPU 资源有限的用户提供 4-bit 量化模型。