zyddnys/manga-image-translator

解决的问题

本项目为图像内文本翻译提供了一键式解决方案，特别针对漫画、连环画以及来自群聊或图板的图像等极少进行专业翻译的内容。它实现了检测文本、从图像中删除文本，并在尝试保持图像视觉完整性的同时用翻译后的文本进行替换的自动化流程。

工作原理

该工具采用 AI 模型流水线来处理图像：

1. Detection: 识别图像中的文本区域。
2. OCR: 从识别区域中提取原始文本。
3. Translation: 将提取的文本翻译成目标语言（支持日语、中文、英语和其他 20 种语言）。
4. Inpainting: 移除原始文本并修复图像背景（使用 lama_large 等模型）。
5. Typesetting: 将翻译后的文本重新渲染到图像上，并提供字体自定义和布局调整选项。

适用对象

• 希望用母语阅读内容的漫画和连环画读者。
• 需要翻译社交媒体或图板中嵌入图像文本的用户。
• 需要帮助理解基于图像内容的日语学习者或初学者。

亮点

• 全面的流水线：处理从文本检测和 OCR 到图像修复和排版的所有环节。
• 多语言支持：支持日语、简体中文、繁体中文、英语和其他 20 种语言。
• 灵活的部署：可作为本地批量处理器、带 UI 的 Web 服务器或 API 使用。
• 可定制性：为检测器、OCR 引擎、翻译器（包括 OpenAI）和图像修复器提供广泛的配置。
• GPU 加速：支持 CUDA 和 MPS 以实现更快的处理速度。