ogkalu2/comic-translate

它解决了什么问题

它提供了一种自动化的方式，将各种语言（包括英语、韩语、日语、法语、中文、俄语、德语、荷兰语、西班牙语和意大利语）的漫画、漫画和网络漫画翻译成其他语言，克服了传统机器翻译工具在处理远距离语言对时常常遇到的局限性。

它如何工作

该工具使用多阶段流水线来处理漫画页面：

1. 文本检测：使用 RT-DETR-v2 模型识别对话气泡和文本段落。
2. OCR：使用专门的工具（如 manga-ocr（日语）、Pororo（韩语）和 PPOCRv5 用于其他语言）提取文本，支持可选的 Gemini 2.0 Flash 和 Azure Vision。
3. 图像修复：使用针对漫画/动画优化的 LaMa 检查点或基于 AOT-GAN 的模型移除原始文本。
4. 翻译：利用最先进的大语言模型（如 GPT-4、Claude 和 Gemini）翻译提取出的文本，并将整页文本输入 LLM 以获得更好的上下文理解。
5. 文本渲染：将翻译后的文本重新包装并渲染回原始边界框中。

适合谁使用

希望将自己不理解语言的国际漫画和漫画内容进行翻译的读者，以及更倾向于使用大语言模型提供的高质量翻译而非标准机器翻译的用户。

主要亮点

• 基于大语言模型的翻译：利用 GPT-4 和类似模型实现卓越的翻译质量，尤其适用于复杂的语言对。
• 多模态支持：可将图像本身提供给大语言模型，以获得额外的翻译上下文。
• 全流程集成：在一个应用中整合了检测、OCR、图像修复和渲染功能。
• 灵活部署：提供适用于 Windows 和 macOS 的桌面应用程序，或适用于基于 Chromium 浏览器的浏览器扩展。
• 手动修正模式：当自动模式失败时，允许用户手动修复 OCR 或清理错误。

一个真正能理解漫画语境的翻译工具——@handle