huytranvan2010/AI-auto-generate-video

Auto generate AI video with hyperframes

解决的问题

该项目自动化地将文本文章转换为 9:16 的短视频(TikTok、Shorts、Reels)。通过使用确定性流程,将脚本转换为带有旁白和音效的精炼视频,从而无需手动视频编辑。

工作原理

内容创作分为两个部分:AI 负责脚本和模板选择,而确定性代码负责实际渲染。

  1. 脚本生成:使用 Claude Code(或手动)创建一个 script.json,其中包含每个场景的旁白文本和特定模板 ID。
  2. 音频生成:管道使用 OmniVoice(本地 TTS 引擎)为每个场景生成旁白,并根据关键词或场景类型混合音效(SFX)。
  3. 视觉渲染:HyperFrames 使用 Chromium 将基于 HTML 的模板渲染为 MP4 片段。
  4. 合成:FFmpeg 将片段连接起来,并将最终音频轨道复用,生成 1080x1920 视频。

适用人群

希望无需手动编辑即可快速将越南语文章转换为短视频的内容创作者,以及对自动化视频制作流程感兴趣的开发者。

亮点

  • 确定性渲染:相同的脚本始终生成相同的视频,便于迭代。
  • 代码化模板:视觉内容以自包含的 HyperFrames 项目形式管理,可通过 HTML/CSS 轻松自定义。
  • 自动音效:音效根据脚本文本的语义匹配自动选择。
  • 本地 TTS:集成 OmniVoice 实现本地越南语文本转语音,无需外部 API 密钥。

相关

  • 项目
  • 项目
  • 项目
  • 项目