krillinai/KrillinAI

解決的問題

KrillinAI 是一個端對端的影片本地化與增強工具。它自動化了為不同語言與平台翻譯影片的繁瑣流程，涵蓋從下載原始影片到產生配音音訊以及平台特定版面（橫式與直式）的全部步驟。

工作原理

此工具實現了一個完整的流程，可透過桌面客戶端、Web UI 或命令列介面（CLI）操作。它整合了多個 AI 元件：

• 語音轉寫：使用 Whisper（OpenAI、FasterWhisper、WhisperKit 或 WhisperCpp）或阿里雲 ASR 將語音轉換為文字。
• 翻譯：使用 LLM（OpenAI、Gemini、DeepSeek 等）翻譯字幕，同時維持語境與自然語意。
• 配音：使用 TTS 服務（阿里雲、OpenAI、MiniMax）或 CosyVoice 進行語音克隆與音訊生成。
• 處理：自動處理字幕對齊、專有名詞替換，以及為各種社群媒體格式（例如 TikTok、YouTube、Bilibili）產生影片渲染。

適用對象

• 內容創作者：希望以最少的手動操作將影片本地化，以面向全球觀眾的人。
• AI Agent：正在建構自動化工作流程，可透過 CLI 和提供的「Agent Skills」協調翻譯與配音流程的開發者。

特色亮點

• 全生命週期流程：涵蓋下載、轉寫、翻譯、配音與渲染的一體化工具。
• Agent 就緒：提供結構化 CLI 與專用 skills/ 目錄，讓 AI Agent 可調用特定階段。
• 彈性部署：支援 Windows、Linux 與 macOS，可選擇本地模型執行或使用雲端 API。
• 跨平台優化：自動產生橫式與直式影片格式，並優化字幕版面。
• 語音克隆：支援透過阿里雲服務進行自訂語音克隆。