ogkalu2/comic-translate

它解決的問題

它提供了一種自動化的方式，將來自各種語言（包括英文、韓文、日文、法文、中文、俄文、德文、荷蘭文、西班牙文和義大利文）的漫畫、漫畫和網絡漫畫翻譯成其他語言，克服了傳統機器翻譯工具在處理遠距離語言對時經常遇到的限制。

如何運作

該工具使用多階段流程來處理漫畫頁面：

1. 文字檢測：使用 RT-DETR-v2 模型識別對話氣泡和文字區段。
2. OCR：使用專用工具（如 manga-ocr（日文）、Pororo（韓文）和 PPOCRv5 用於其他語言）提取文字，並可選支援 Gemini 2.0 Flash 和 Azure Vision。
3. 修復：使用針對漫畫/動畫微調的 LaMa 檢查點或基於 AOT-GAN 的模型移除原始文字。
4. 翻譯：利用先進的 LLM（如 GPT-4、Claude 和 Gemini）翻譯提取的文字，並將整個頁面的文字輸入 LLM 以獲得更好的上下文。
5. 文字渲染：將翻譯後的文字包裝並渲染回原始的邊界框中。

適用對象

希望將自己不理解語言的國際漫畫和漫畫內容翻譯的讀者，以及偏好使用 LLM 提供的高品質翻譯而非標準機器翻譯的使用者。

特色

• LLM 驅動的翻譯：利用 GPT-4 和類似模型實現優異的翻譯品質，特別適用於複雜的語言對。
• 多模態支援：可將圖像本身提供給 LLM，以獲得額外的翻譯上下文。
• 全面的流程：在一個應用程式中整合了檢測、OCR、修復和渲染。
• 靈活的部署方式：提供 Windows 和 macOS 的桌面應用程式，或適用於 Chromium 系列瀏覽器的瀏覽器擴充功能。
• 手動修正模式：當自動模式失敗時，允許使用者手動修復 OCR 或清理錯誤。

這是一個真正改變遊戲規則的工具，特別是對於那些希望保留原作視覺風格的翻譯者而言。— @handle