Huanshere/VideoLingo

解決的問題

VideoLingo 簡化了影片翻譯與配音的複雜流程。它在單一介面內自動化了下載影片、語音轉錄、使用 AI 翻譯文字、確保可讀性的字幕分段，以及生成配音音訊的完整工作流程。

如何運作

該工具使用一系列專用的 AI 模型與服務構成的流水線：

• 轉錄： 使用 WhisperX 進行單字級語音辨識與對齊。
• 翻譯： 透過 OpenAI 相容 API 呼叫 LLM，利用自訂術語與反思機制，確保自然重寫。
• 字幕管理： 應用 NLP 與 AI 驅動的分段技術，確保字幕符合長度限制並邏輯分割。
• 配音： 集成多種文字轉語音（TTS）服務，包括 GPT-SoVITS、Azure、OpenAI 與 Edge TTS，以生成配音。
• 介面： 提供基於 Streamlit 的 UI，支援任務控制（暫停／恢復）與模型選擇。

適用對象

希望將外語影片翻譯成自己語言，並配有高品質字幕與可選配音音訊的內容創作者與使用者。

主要亮點

• 端對端工作流程： 在一個應用中整合 YouTube 下載、轉錄、翻譯與配音。
• AI 驅動的分段： 使用 NLP 確保字幕按自然語意而非僅按時間分段。
• 術語控制： 支援自訂與 AI 生成的術語，確保影片中的一致性。
• 彈性的 TTS 選項： 支援廣泛的配音引擎，包括本地的 GPT-SoVITS 與雲端 API。
• 進度恢復： 詳細的日誌記錄允許使用者從中斷處繼續任務。