linyqh/NarratoAI

NarratoAI – AI 驱动的视频解说与自动剪辑

它是什么 – 一款开源桌面/Web 应用，可将原始视频素材转化为带解说的短视频。它集成了大语言模型（LLM）用于脚本生成、语音合成（TTS）引擎用于配音、自动字幕创建以及简单的视频剪辑流水线。整个流程在本地运行（或通过托管云版本），并通过 Streamlit UI 控制。

主要功能

• 脚本撰写 – 提示 LLM（例如 GLM-5.3、Kimi-K3、DeepSeek、MiniMax、Doubao、Qwen2-VL）为给定视频或主题生成解说脚本。
• 自动剪辑 – 工具提取关键帧、选择高光片段，并组装成修剪后的视频片段。
• 配音 – 支持多种 TTS 后端，包括 IndexTTS-1.5/2（Apple Silicon 上的 MLX）、OmniVoice、腾讯云 TTS 等。支持声音克隆。
• 字幕生成 – 集成 ASR（Fun-ASR）生成字幕，可预览和编辑。
• AI 生成背景音乐 – 可选的 Sonilo AI 音乐轨道。
• 导出 – 可输出最终视频文件或用于中文“剪映”编辑器的草稿。

安装选项

1. 一体化安装包 – 下载预构建的 Windows x64 或 macOS Apple-Silicon zip 包，运行 update-*.bat/.command，然后运行 start-*.bat/.command。UI 出现在 http://127.0.0.1:8501。
2. Docker（macOS） – 克隆仓库后运行 docker compose up -d。
3. 从源码安装 –

   git clone https://github.com/linyqh/NarratoAI.git
   cd NarratoAI
   uv sync                     # 安装依赖
   cp config.example.toml config.toml
   # 编辑 config.toml 填入你的 API 密钥
   uv run streamlit run webui.py --server.maxUploadSize=2048
   

   然后打开相同的 localhost 地址。

典型工作流程

1. 上传或指向源视频。
2. 选择语言模型（或让应用自动选择最佳模型）并生成解说脚本。
3. 选择 TTS 引擎，可选提供参考声音用于克隆。
4. 运行自动剪辑和合并步骤；应用还会运行 ASR 生成字幕。
5. 根据需要审阅/编辑脚本、字幕或时间轴。
6. 导出最终视频或用于进一步编辑的草稿。

硬件与软件要求

• CPU 4 核以上，8 GB 内存（GPU 可选）。
• Windows 10/11 或 macOS 11+。
• Python 3.12+（如果从源码运行）。

社区与支持

• 官方 wiki、Discord 和 GitHub 社区页面用于公告。
• 频繁发布（最新 v0.8.6 添加了 Apple-Silicon TTS 引擎和 OmniVoice 包）。
• 赞助链接到火山引擎、APIMart 和 SiliconFlow，提供低成本的 API 额度用于视频理解和 TTS。

许可证 – 请参阅仓库中的 LICENSE 文件（标准开源许可证，README 中未指定详细信息）。

总结 – NarratoAI 是一款真正的、积极维护的 AI 工具，将基于 LLM 的脚本生成、多引擎 TTS、ASR 和视频编辑集成到一个易于运行的软件包中，适合希望实现自动化电影风格解说的创作者。