dmMaze/BallonsTranslator

解決的問題

BallonsTranslator 是一款基於深度學習的工具，旨在自動化漫畫與漫畫的翻譯。它透過整合文字檢測、光學字元辨識（OCR）、影像修復（移除原始文字）與機器翻譯，將視覺媒體翻譯這項繁瑣的流程簡化為單一工作流程。

工作原理

該工具透過四個主要模組的流程運作：

1. 文字檢測：識別圖像中的文字區域（支援日語與英語）。
2. OCR：識別這些區域內的文字並提取顏色資訊。
3. 影像修復：使用 AOT、LaMa 或 PatchMatch 等演算法擦除原始文字，恢復背景。
4. 翻譯：使用多種引擎（Google、DeepL、Papago 或 LLM）進行文字翻譯。

對於進階使用者，它整合了帶有視覺上下文的 LLM，支援翻譯歷史（以維持名稱與語氣的一致性）與可重用的專有名詞表，以提升翻譯品質。同時也提供功能豐富的文字編輯器，支援手動調整字型樣式、效果與版面。

適用對象

主要面向漫畫／漫畫翻譯者、掃描組，以及希望將日語或英語漫畫翻譯成自己語言的讀者，以最少的手動操作完成翻譯。

特色亮點

• 一鍵翻譯：從檢測到排版的整個流程完全自動化。
• LLM 集成：支援結合歷史記錄、摘要與視覺輸入的上下文感知翻譯，確保敘事一致性。
• 高階影像編輯：包含遮罩編輯與專用修復筆刷，用於清理文字區域。
• 彈性翻譯引擎：支援廣泛的提供者，包括本地模型（Sakura-13B）、基於 API 的服務（OpenAI、DeepLX）與專用漫畫 OCR。
• 豐富的文字工具：支援 WYSIWYG 編輯，具備文字變形、特殊效果與批次格式化功能。