BallonsTranslator: 一款具備自動修復與排版功能的深度學習輔助漫畫翻譯工具

它解決了什麼問題

BallonTranslator 是一款旨在自動化漫畫與漫改作品翻譯的深度學習輔助工具。它解決了手動偵測圖像中的文字、移除原始文字（修復/inpainting）、翻譯內容，以及將翻譯後的文字重新排版回原始對話框，同時嘗試保留原始佈局、顏色與對齊方式的繁瑣過程。

運作原理

該工具整合了多個 AI 模組以建立完整的流程：

• 文字偵測與 OCR：使用 manga-image-translator、manga_ocr 與 PaddleOCRVLManga 等模型來定位文字區塊並辨識字元（支援日文、英文與中文）。
• 圖像修復 (Inpainting)：採用深度學習模型（AOT、lama）或傳統演算法（PatchMatch）來抹除原始文字並還原背景。
• 翻譯：支援多種翻譯引擎，包括 LLMs（OpenAI-compatible APIs、Sakura-13B-Galgame）、專業翻譯器（DeepL、Sugoi、Papago）以及通用服務（Google、Caiyun）。
• 排版：自動估算原始佈局（角度、方向、對齊方式）以將翻譯後的文字放回對話框中。

適用對象

主要針對漫畫/漫畫翻譯者、漢化組，以及希望以最少的人力投入，將日文或英文漫畫翻譯成其他語言（特別是中文）的讀者。

重點特色

• 一鍵翻譯：自動化從偵測到渲染的整個流程。
• 豐富的編輯套件：包含 WYSIWYG 文字編輯器、遮罩編輯與修復筆刷，用於微調修復結果。
• 靈活的翻譯後端：基於隱私或成本考量，同時支援雲端 API 與本地離線 LLMs。
• 多平台支援：適用於 Windows、macOS 與 Linux，並提供 Nvidia 與 Apple Silicon 的 GPU 加速。
• 無介面模式 (Headless mode)：可透過命令列執行，以便在無需 GUI 的情況下進行批次處理。