EternalEvan/Astra

解决的问题

Astra 解决了创建响应特定动作输入的逼真、长期视频预测的挑战。它旨在为模拟各种现实世界场景（如自动驾驶、机器人操作和相机运动）中的未来视频序列提供一种可控且时间一致的方法。

工作原理

Astra 是一个构建在具有时间因果注意力机制的自回归扩散 Transformer 之上的交互式世界模型。它通过基于历史和动作信号预测未来帧来实现流式预测。为了保持稳定性和控制力，它采用了三个关键技术组件：

• Noise-augmented history memory: 稳定长视频 Rollouts 的生成。
• Action-aware adapter: 确保控制信号的精确集成。
• Mixture of action experts: 将不同类型的动作模态路由到适当的处理路径。

适用对象

致力于自动系统、机器人技术和 AI 驱动视频生成的科研人员和开发人员，他们需要高保真、以动作为条件的模拟器来预测未来的视觉状态。

亮点

• 动作驱动控制：支持各种动作输入（例如：特定的相机轨迹，如 S 形或旋转）来引导视频生成。
• 长期 Rollouts：专为流式预测设计，在长序列中具有强大的时间一致性。
• 广泛的应用范围：适用于自动驾驶、无人机导航和机器人操作。
• 高效推理：可以在单个 24GB GPU（例如 NVIDIA 3090）上运行。