shang-zhu/violin

What it solves

Violin 是一个開源工具，用於將影片翻譯成不同語言，同時保持自然感。它自動化了原始語音轉錄、文本翻譯、生成聽起來自然的配音，以及將新音訊同步回影片檔案的複雜過程。

How it works

Violin 使用可插拔的 AI 模型流水線來處理影片：

1. Audio Extraction: 使用 ffmpeg 從影片中提取音訊。
2. Transcription: 使用 Whisper Large v3 建立字級時間戳記和句子段落。
3. Translation: 使用 LLM (預設為 DeepSeek V4 Pro) 根據選擇的風格設定檔進行翻譯。
4. Speech Synthesis: 使用 TTS 引擎 (預設為 Cartesia Sonic 3) 生成配音音訊。
5. Remuxing: 使用 ffmpeg 將影片速度與配音音訊對齊，並編碼最終的 MP4 輸出，可選擇包含 SRT 字幕。

Who it’s for

內容創作者和開發者，需要在不使用人工配音服務的情況下，將影片內容在地化為 33 種目標語言，以面向全球觀眾。

Highlights

• Pluggable Stack: 透過單一 YAML 配置，輕鬆在 Together AI、OpenAI 和 ElevenLabs 等提供商之間切換。
• Style Profiles: 六種實驗性設定檔 (standard, kids, academic, casual, storyteller, news) 可同時調整翻譯語氣與 TTS 交付方式。
• In-video Q&A: 允許用戶使用採樣的影格與字幕，針對配音後的影片中特定時刻進行提問。
• Natural-language Voice Picker: 使用 LLM 從目錄中根據用戶的描述來選擇最佳語音。
• Flexible Deployment: 提供 CLI 工具、FastAPI web app 或 Claude Code skill。