showlab/Code2Video
[ICML 2026] Video generation via code
解决的问题
Code2Video 解决了创建高质量、连贯且可复现的教育视频的困难。与传统文本到视频模型直接生成像素不同,该框架通过使用可执行代码作为视频生成的媒介,确保了清晰性和精确性。
工作原理
该系统采用基于代理的、以代码为中心的范式,利用 Manim 库生成视频。它采用模块化的三代理架构:
- 规划者:将知识点扩展为详细的分镜脚本。
- 编码者:合成可调试的 Manim 代码以实现分镜脚本。
- 批评者:使用锚点和视觉反馈优化布局与美学。
为提升视觉质量,该框架可集成 IconFinder API 提供的外部图标。整个流程通过 MMMC 基准进行评估,该基准测试知识迁移能力、美学质量与效率。
适用人群
本工具专为教育工作者、内容创作者和研究人员设计,旨在自动化生成类似 3Blue1Brown 制作的数学或技术上精确的教育动画。
核心亮点
- 代码驱动生成:使用可执行的 Manim 代码而非基于像素的生成,实现更高的连贯性与可复现性。
- 三代理架构:分离规划、编码与评审,确保输出结构化且精炼。
- MMMC 基准:包含 117 个学习主题的专用基准,用于评估教育视频生成效果。
- 多维度评估:基于知识迁移(TeachQuiz)、美学质量与计算效率对视频进行综合评估。
相关
- 项目
- 项目
marcelo-earth/generative-manimGenerative Manim 是一个开源工具,使用 LLM(GPT‑4o、Claude、Gemini 等)将自然语言提示转换为可运行的 Manim 动画代码和渲染视频。它提供 Web 演示、REST API 和本地渲染的桌面应用(Animo),还包含用于微调开源权重模型以生成 Manim 代码的训练流水线和基准测试套件。
- 项目
Wing900/ManimCatManimCat 是一个 AI 辅助的网页工作区,可将自然语言数学提示转换为动画(Manim)或静态(matplotlib)视觉内容。它提供快速生成的“工作流”模式,以及用于迭代创建的长期“代理/工作室”模式,使用 React、Express、Redis 和可选的 Supabase 存储构建,可本地运行或通过 Docker/Hugging Face Spaces 运行。
- 项目
leigest519/OpenGameOpenGame 是一个开源、基于 Node 的框架,使用专用代码 LLM(GameCoder‑27B)从单个自然语言提示生成完整的 Web 游戏。它提供可复用的 *Game Skill*(模板选择 + 自动调试)、用于无头生成的 CLI(`opengame`),以及用于衡量可玩性的评估套件(OpenGame‑Bench)。该系统使用 Phaser 等引擎搭建项目,在沙箱中运行,修复集成错误,并输出可直接播放的 HTML/JS 游戏。
- 项目