gracezhao1997/Awesome-Video-World-Models-with-AR-Diffusion

这是什么

这是一个精选的研究论文和资源列表，关于一种特定类型的AI视频模型：基于自回归扩散（AR diffusion）构建的视频世界模型。这些模型逐块生成视频（自回归），而每个块使用扩散生成（一种逐渐将噪声转化为图像或视频的过程）。该仓库旨在成为该领域研究人员、开发者和爱好者的全面、结构化指南。

涵盖内容

列表按三个主要维度组织：

• 算法基础 – 训练此类模型的方法，使其运行更快，并生成更长的视频。
• 实际应用 – 开源视频基础模型、交互式动作条件模型、虚拟化身、自我中心交互，以及在具身AI/自动驾驶中的应用。
• 基础设施级加速 – 如稀疏注意力、缓存、量化注意力和推测解码等技术，使这些模型高效运行。

主要特点

• 结构化分类：论文被分组到清晰的类别中（参见目录），帮助您浏览多种方法。
• 一站式引用集合：一个BibTeX文件（video-world-models.bib）列出了所有论文，您可以一键导入到LaTeX或Zotero。
• 每周更新：维护者每周刷新列表以保持最新。
• 社区贡献：维护者明确欢迎拉取请求以添加缺失的论文，也接受更高级别的贡献，如更好的分类或综合。

新亮点：minWM

最近添加的是minWM – 一个全栈开源框架，展示了如何将双向文本到视频模型转换为动作条件的视频世界模型，附带示例数据、脚本和文档。它还有技术报告和Hugging Face上的预训练模型。

维护和联系

该仓库由Min Zhao、Hongzhou Zhu、Wenqiang Sun和Bokai Yan维护。README提供了他们的联系方式，如果您有问题或建议，请与他们联系。

如何使用此仓库

• 作为研究指南：浏览类别以发现AR扩散在视频世界建模中的关键方法。
• 作为引用工具：获取BibTeX文件用于您的论文。
• 作为学习资源：包含的论文和代码/网站链接让您直接访问实现和项目页面。