Junchao-cs/SolarWM

解决的问题

SolarWM 提供了一个统一的开源框架，用于训练和运行交互式视频世界模型。它通过提供一个支持多种最先进模型（Wan2.2、LTX-2.5 和 MiniMax-H3）且保持其原生能力的单一代码库，解决了处理异构视频骨干网络带来的复杂性。

工作原理

该项目利用三阶段训练方案，将双向视频模型转换为能够进行长视距生成的因果交互式世界模型。

1. Stage 0.5: 使用双向流匹配学习基础视频、文本和相机条件表示。
2. Stage 1: 使用教师强制自回归训练，使模型能够同时学习去噪和有限步流映射。
3. Stage 2: 采用自梯度强制 (SGF) 在模型自身的自回归展开上进行训练，通过滑动窗口推理实现稳定、长视距的交互。

该框架由一个包含 143 万个片段（25 TB）的大规模开源数据集支持，其中包括帧对齐的元数据、相机几何结构和标题。

适用人群

该项目专为从事视频生成和世界模型研究的开发者设计，他们需要一个可扩展、模块化的流水线来训练、微调或推理大规模视频骨干网络。

亮点

• 统一框架: 在一个代码库中支持不同架构（Wan2.2、LTX-2.5、MiniMax-H3）的 5B–33B 参数模型。
• 开放数据: 提供了一个完整的 25 TB 数据集，并配有灵活的处理流水线，将源数据与训练混合解耦。
• 长视距能力: 通过滑动窗口推理，实现对任意长视频序列的少步交互。
• 高级渲染: 集成了 SolarRenderer，用于结构条件视频生成。