OpenVDN/vdn-minimax-h3

解决的问题

视频生成模型通常面临推理速度缓慢的问题。VDN-H3 通过实现更快的视频生成（速度甚至可能超过视频播放速度）来解决此问题，同时保持近乎无损的视觉质量与一致性。

运作原理

VDN-H3 使用基于 MiniMax H3 主干网络的混合注意力架构。它引入了一个高效的逐帧线性注意力分支，并搭配一个保留视觉质量的 softmax 分支。此系统采用即插即用设计，使用独立的线性注意力分支与两个小型 LoRA 适配器，可在推理期间合并至主干网络中，而无需更改原始权重。

适用对象

需要针对数据中心 GPU（如 B200/H200）与消费级 GPU（通过 FreeVideo 集成）进行高性能推理的视频生成模型开发者与研究人员。

特点

• 高速推理： 在 8x B200 GPU 上，端到端生成 14.4 秒的视频片段仅需约 9 秒。
• 多样化生成模式： 支持文字转视频 (T2VA)、图像转视频 (I2VA)、首尾帧转视频 (FL2VA) 以及参考图像转视频 (Ref2VA-like) 等任务。
• 即插即用架构： 使用可合并至主干网络的 LoRA 适配器与线性注意力分支。
• 开源技术堆栈： 提供完整的权重访问、优化推理代码与训练配方。