showlab/Code2Video

[ICML 2026] Video generation via code

解决的问题

Code2Video 解决了创建高质量、连贯且可复现的教育视频的困难。与传统文本到视频模型直接生成像素不同,该框架通过使用可执行代码作为视频生成的媒介,确保了清晰性和精确性。

工作原理

该系统采用基于代理的、以代码为中心的范式,利用 Manim 库生成视频。它采用模块化的三代理架构:

  • 规划者:将知识点扩展为详细的分镜脚本。
  • 编码者:合成可调试的 Manim 代码以实现分镜脚本。
  • 批评者:使用锚点和视觉反馈优化布局与美学。

为提升视觉质量,该框架可集成 IconFinder API 提供的外部图标。整个流程通过 MMMC 基准进行评估,该基准测试知识迁移能力、美学质量与效率。

适用人群

本工具专为教育工作者、内容创作者和研究人员设计,旨在自动化生成类似 3Blue1Brown 制作的数学或技术上精确的教育动画。

核心亮点

  • 代码驱动生成:使用可执行的 Manim 代码而非基于像素的生成,实现更高的连贯性与可复现性。
  • 三代理架构:分离规划、编码与评审,确保输出结构化且精炼。
  • MMMC 基准:包含 117 个学习主题的专用基准,用于评估教育视频生成效果。
  • 多维度评估:基于知识迁移(TeachQuiz)、美学质量与计算效率对视频进行综合评估。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目