linyqh/NarratoAI

解决的问题

NarratoAI 是一个用于制作电影和电视节目解说视频的一站式自动化工具。它消除了编写剧本、编辑视频剪辑、生成配音和添加字幕的人工工作，为创作者简化了整个内容创作流程。

工作原理

该工具使用大语言模型 (LLM) 来编写剧本并理解视频内容。它为流水线的不同阶段集成了各种 AI 引擎：

• 剧本编写与分析：使用 LLM（如 DeepSeek R1/V3 或 Qwen2-VL）和视频理解后端（如 TwelveLabs Pegasus）来分析素材并生成解说剧本。
• 音频：采用文本转语音 (TTS) 引擎（如 IndexTTS、OmniVoice 或腾讯云 TTS）进行配音，包括支持语音克隆。
• 音频/音乐：集成 Sonilo AI，根据相同的视频内容和剪辑节奏生成背景音乐。
• 音视频同步：自动化字幕和剪辑过程，支持导出到 CapCut 草稿。

适用对象

想要真正实现电影/电视节目回顾和短剧解说视频制作自动化的内容创作者、社交媒体影响者和视频编辑师。

亮点

• 一站式流水线：在单个工作流中实现剧本编写、剪辑、配音和字幕的自动化。
• 视频理解：支持 Qwen2-VL 和 TwelveLabs Pegasus 等高级模型进行原生视频分析。
• 多模态 AI：结合 LLM、TTS 和 AI 生成音乐 (Sonilo AI)，提供完整的视听体验。
• 语音克隆：支持本地语音克隆引擎 (IndexTTS, OmniVoice) 以实现个性化音频。
• 多模态集成：支持导出到 CapCut 草稿进行最后的后期润色。
• 跨平台：提供 Windows 和 macOS (Apple Silicon) 的集成包。