dmMaze/BallonsTranslator

解决的问题

BallonsTranslator 是一个基于深度学习的工具，旨在自动化漫画和漫画的翻译。它通过整合文本检测、光学字符识别（OCR）、图像修复（移除原始文本）和机器翻译，将视觉媒体翻译这一繁琐过程简化为一个工作流。

工作原理

该工具通过四个主要模块的流水线运行：

1. 文本检测：识别图像中的文本区域（支持日语和英语）。
2. OCR：识别这些区域内的文本并提取颜色信息。
3. 图像修复：使用 AOT、LaMa 或 PatchMatch 等算法擦除原始文本，恢复背景。
4. 翻译：使用多种引擎（Google、DeepL、Papago 或 LLM）进行文本翻译。

对于高级用户，它集成了带有视觉上下文的 LLM，支持翻译历史（以保持名称和语气的一致性）和可重用的术语表，以提升翻译质量。它还提供了一个功能丰富的文本编辑器，支持手动调整字体样式、效果和布局。

适用人群

主要面向漫画/漫画翻译者、扫描组以及希望将日语或英语漫画翻译成自己语言的读者，以最少的手动操作完成翻译。

特色亮点

• 一键翻译：从检测到排版的整个流程完全自动化。
• LLM 集成：支持结合历史记录、摘要和视觉输入的上下文感知翻译，确保叙事一致性。
• 高级图像编辑：包含掩码编辑和专用修复画笔，用于清理文本区域。
• 灵活的翻译引擎：支持广泛的提供方，包括本地模型（Sakura-13B）、基于 API 的服务（OpenAI、DeepLX）和专用漫画 OCR。
• 丰富的文本工具：支持 WYSIWYG 编辑，具备文本变形、特殊效果和批量格式化功能。