shang-zhu/violin

What it solves

Violin 是一个开源工具，用于将视频翻译成不同语言，同时保持自然感。它自动化了原始语音转录、文本翻译、生成听起来自然的配音，以及将新音频同步回视频文件的复杂过程。

How it works

Violin 使用可插拔的 AI 模型流水线来处理视频：

1. Audio Extraction: 使用 ffmpeg 从视频中提取音频。
2. Transcription: 使用 Whisper Large v3 来创建字级时间戳戳记和句子段落。
3. Translation: 使用 LLM (默认使用 DeepSeek V4 Pro) 根据所选的风格配置进行翻译。
4. Speech Synthesis: 使用 TTS 引擎 (默认使用 Cartesia Sonic 3) 生成配音音频。
5. Remuxing: 使用 ffmpeg 将视频速度与配音音频对齐，并编码最终的 MP4 输出，可选择包含 SRT 字幕。

Who it’s for

内容创作者和开发者，需要在无需人工配音服务的情况下，将视频内容本地化为 33 种目标语言，以面向全球观众。

Highlights

• Pluggable Stack: 通过单一 YAML 配置，轻松在 Together AI, OpenAI, 和 ElevenLabs 等提供商之间切换。
• Style Profiles: 六种实验性配置 (standard, kids, academic, casual, storyteller, news) 可以同时调整翻译语气-和 TTS 交付方式。
• In-video Q&A: 允许用户使用采样帧和字幕，针对配音后的视频中特定时刻进行提问。
• naturally-language Voice Picker: 使用 LLM 来根据用户描述从目录中选择最佳语音。
• Flexible Deployment: 提供 CLI 工具、FastAPI web app 或 Claude Code skill。