code-video-model/CodeVideoModel

解决的问题

Code Video Model 通过使用 3D 场景代码作为结构指南，解决了生成高质量、可控视频的挑战。传统的文本生成视频模型在空间一致性和精确摄像机运动方面往往表现不佳，而本项目利用 Three.js 代码来定义场景的几何结构和运动，从而确保最终视频输出在结构上的准确性。

工作原理

该过程包含三个主要阶段。首先，利用 LLM 根据文本提示生成 Three.js 代码，创建一个定义场景结构的“代理”视频。其次，生成一张捕捉所需视觉风格和构图的高质量参考图像。最后，使用 MiniMax-H3 模型合成最终视频，将代理视频的结构引导与参考图像的视觉细节相结合。

适用人群

本项目适用于从事可控视频生成、3D 转视频流水线以及 AI 驱动场景合成的研究人员和开发人员，他们需要一个框架来弥合程序化 3D 环境与高保真生成视频模型之间的差距。

亮点

• 代码引导生成： 使用 Three.js 代码作为结构代理来控制摄像机路径和物体放置。
• 多阶段流水线： 集成了基于 LLM 的代码生成、基于图像的风格参考以及视频合成。
• 交互式查看器： 包含一个基于浏览器的工具，用于检查、拖动和可视化生成的 3D 场景。
• 包含基准测试： 提供 CodeVideoBench，这是一个包含八个应用场景下 22 个案例的数据集，用于评估结构、风格和视觉质量。