OpenMontage: 一个将研究、剧本编写和编辑编排进完整制作流水线的智能体视频制作系统

OpenMontage: 一个将研究、剧本编写和编辑编排进完整制作流水线的智能体视频制作系统

它解决了什么问题

OpenMontage 是一个智能体视频制作系统,它实现了视频创作全过程的自动化——从最初的研究和剧本编写,到素材生成、编辑以及最终的合成。它超越了简单的单片段生成,通过提供一个结构化的端到端流水线,可以使用 AI 生成的素材或真实的库存视频来制作多种格式的内容,如教育讲解视频、电影预告片和纪录片蒙太奇。

工作原理

该系统旨在由 AI 编程助手(如 Claude Code, Cursor, 或 Copilot)进行操作。智能体遵循一个结构化的制作流程:研究 $\rightarrow$ 提案 $\rightarrow$ 剧本 $\rightarrow$ 场景规划 $\rightarrow$ 素材 $\rightarrow$ 编辑 $\rightarrow$ 合成

关键技术组件包括:

  • 研究阶段:智能体在 Reddit 和 YouTube 等来源进行实时网络搜索,以确保内容基于真实数据。
  • 素材获取:它可以通 API(如 FLUX, Veo, Kling)生成 AI 图像/视频,或者从开放存档(Archive.org, NASA, Wikimedia)和免费素材网站(Pexels, Unsplash)检索真实的动态片段。
  • 合成引擎:它使用 Remotion(基于 React)进行数据驱动的讲解视频制作,并使用 HyperFrames(HTML/GSAP)进行动态图形和角色动画制作。
  • 后期制作:使用 FFmpeg 进行编码、音频混音和字幕压制。
  • 参考驱动规划:用户可以提供一个参考视频(YouTube, TikTok 等),智能体将分析其节奏和风格,从而创建一个新的、具有差异化的制作方案。

适用人群

  • 内容创作者:希望自动化制作社交媒体片段、讲解视频或品牌预告片的人士。
  • 开发者:希望使用开源框架将多个 AI 媒体工具编排进一个凝聚的工作流的人士。
  • 研究人员/教育工作者:需要快速将复杂话题转化为基于事实、带有旁白的视频演示的人士。

亮点

  • 12 种制作流水线:涵盖从“出镜讲解 (Talking Head)”和“屏幕演示 (Screen Demo)”到“纪录片蒙太奇 (Documentary Montage)”的所有专业化工作流。
  • 真实素材集成:能够利用来自开放存档的真实动态片段来制作视频,而不仅仅是让静态图像动起来。
  • 智能体编排:包含超过 400 种智能体技能和 52 种工具,引导 AI 完成专业的制作阶段。
  • 混合供应商支持:支持优质云端 API 和免费/本地替代方案(例如用于旁白的 Piper TTS)。
  • 参考转视频:分析现有视频以提取结构和节奏,用于新内容的创作。

Sources