krillinai/KrillinAI

解决的问题

KrillinAI 是一个端到端的视频本地化与增强工具。它自动化了为不同语言和平台翻译视频的繁琐流程，涵盖从下载源视频到生成配音音频以及生成平台特定布局（横屏和竖屏）的全部环节。

工作原理

该工具实现了一个完整的流水线，可通过桌面客户端、Web UI 或命令行界面（CLI）操作。它集成了多个 AI 组件：

• 语音转写：使用 Whisper（OpenAI、FasterWhisper、WhisperKit 或 WhisperCpp）或阿里云 ASR 将语音转换为文本。
• 翻译：使用 LLM（OpenAI、Gemini、DeepSeek 等）翻译字幕，同时保持上下文和自然语义。
• 配音：使用 TTS 服务（阿里云、OpenAI、MiniMax）或 CosyVoice 实现语音克隆和音频生成。
• 处理：自动处理字幕对齐、术语替换以及为各种社交媒体格式（如 TikTok、YouTube、Bilibili）生成视频渲染。

适用人群

• 内容创作者：希望以最少的手动操作将视频本地化以面向全球观众的人。
• AI Agent：正在构建自动化工作流，可通过 CLI 和提供的「Agent Skills」协调翻译与配音流水线的开发者。

特色亮点

• 全生命周期流水线：涵盖下载、转写、翻译、配音和渲染的完整工具链。
• Agent 就绪：提供结构化 CLI 和专用 skills/ 目录，供 AI Agent 调用特定阶段。
• 灵活部署：支持 Windows、Linux 和 macOS，可选择本地模型运行或使用云 API。
• 跨平台优化：自动生成横屏与竖屏视频格式，并优化字幕布局。
• 语音克隆：支持通过阿里云服务实现自定义语音克隆。