Colafornia/short-video-generator-AI

Free open-source project designed for turning youtube-viedos into viral short videos. Highlight detection, subtitles, translation, voiceover, all in one for your content.

short-video-generator-AI

简介 – 一个开源Python工具,可将完整长度的YouTube(或本地)视频转换为一个或多个竖屏短视频片段(9:16、1:1等)。它结合了自动转录、AI驱动的亮点选择、可选的AI生成钩子和简单的视频渲染。整个流程在本地运行,除了LLM调用,可使用OpenAI、Gemini或MuAPI。

主要功能

  • 单行CLIpython main.py <YouTube-URL> 生成可直接发布的短视频。
  • Web UI – 一个小型本地网页(shorts-generator-ui.html),可排队多个视频并直观调整选项。
  • 亮点检测 – 转录文本由语言模型根据“病毒式传播”线索(如情感高峰、金句、实用技巧)进行评分(0-100)。
  • AI生成钩子 – 由同一LLM创建的可选短开场,以吸引注意力。
  • 多提供商LLM支持 – OpenAI、Gemini或MuAPI;只需在.env文件中设置LLM_PROVIDER和相应的API密钥。
  • 本地Whisper转录 – 使用faster-whisper模型(tiny → large-v3),支持CPU或CUDA。
  • 可配置输出 – 片段数量(--n)、宽高比、分辨率、语言以及是否包含钩子。

工作原理

  1. 下载 – 获取源视频(YouTube或本地路径)。
  2. 转录 – 使用faster-whisper生成带时间戳的文本文件。
  3. 内容类型分类 – 通过所选LLM(播客、访谈、教程等)调整亮点提示。
  4. 转录片段评分 – 使用“病毒式框架”(钩子、情感高峰、揭示等)返回排名候选。
  5. 去重 – 移除重叠候选,保留得分最高的。
  6. 选择前N个片段 – 按--n指定的数量选择。
  7. 渲染 – 将每个片段垂直渲染,可选地在开头添加AI生成的钩子,并保存到output/文件夹。

典型工作流程

# 克隆并设置
git clone https://github.com/Colafornia/short-video-generator-AI.git
cd short-video-generator-AI
python -m venv venv && source venv/bin/activate
pip install -r requirements.txt

# 创建包含LLM密钥的.env
cat > .env <<EOF
LLM_PROVIDER=openai
OPENAI_API_KEY=sk-…
LOCAL_WHISPER_MODEL=base
EOF

# 从YouTube视频生成3个短视频
python main.py "https://www.youtube.com/watch?v=abc123" --n 3 --ratio 9:16

要使用Web UI,请运行python3 server.py并提供web/文件夹,然后打开http://localhost:8000/shorts-generator-ui.html

适用人群

  • 希望免费替代商业短视频生成器(如OpusClip、Vidyo.ai)的内容创作者。
  • 需要将现有长视频批量处理为TikTok/YouTube-Shorts格式的小团队。
  • 希望以API优先方式将短视频生成嵌入自有管道的开发者。

限制

  • 依赖外部LLM API进行亮点评分和钩子生成;OpenAI或MuAPI需要付费密钥,而Gemini的免费额度有限。
  • 亮点质量在很大程度上取决于仓库内的提示设计;可能会错过小众的“病毒式”时刻。
  • 视频渲染在底层使用ffmpeg风格命令,因此性能受硬件限制。
  • 没有内置的源视频水印去除功能;该工具仅裁剪原始素材。

许可证 – MIT(免费使用、修改和再分发)。

相关

  • 项目
  • 项目
  • 项目
  • 项目