zyddnys/manga-image-translator

解決的問題

本專案為圖像內文本翻譯提供了一鍵式解決方案，特別針對漫畫、連環畫以及來自群聊或圖板的圖像等極少進行專業翻譯的內容。它實現了檢測文本、從圖像中刪除文本，並在嘗試保持圖像視覺完整性的同時用翻譯後的文本進行替換的自動化流程。

工作原理

該工具採用 AI 模型流水線來處理圖像：

1. Detection: 識別圖像中的文本區域。
2. OCR: 從識別區域中提取原始文本。
3. Translation: 將提取的文本翻譯成目標語言（支援日語、中文、英語和其他 20 種語言）。
4. Inpainting: 移除原始文本並修復圖像背景（使用 lama_large 等模型）。
5. Typesetting: 將翻譯後的文本重新渲染到圖像上，並提供字體自定義和佈局調整選項。

適用對象

• 希望用母語閱讀內容的漫畫和連環畫讀者。
• 需要翻譯社群媒體或圖板中嵌入圖像文本的使用者。
• 需要幫助理解基於圖像內容的日語學習者或初學者。

亮點

• 全面的流水線：處理從文本檢測和 OCR 到圖像修復和排版的所有環節。
• 多語言支援：支援日語、簡體中文、繁體中文、英語和其他 20 種語言。
• 靈活的部署：可作為本地批次處理器、帶 UI 的 Web 伺服器或 API 使用。
• 可定制性：為檢測器、OCR 引擎、翻譯器（包括 OpenAI）和圖像修復器提供廣泛的配置。
• GPU 加速：支援 CUDA 和 MPS 以實現更快的處理速度。