BallonsTranslator: 一款基于深度学习辅助的漫画翻译工具,具备自动修补与排版功能

BallonsTranslator: 一款基于深度学习辅助的漫画翻译工具,具备自动修补与排版功能

它解决了什么问题

BallonTranslator 是一款基于深度学习辅助的工具,旨在实现漫画和漫改作品的自动化翻译。它解决了手动检测图像中的文本、擦除原文本(修补)、翻译内容,以及将翻译后的文本重新排版回原对话框,同时尽可能保留原始布局、颜色和对齐方式的繁琐过程。

工作原理

该工具集成了多个 AI 模块以构建完整的流水线:

  • 文本检测与 OCR:使用 manga-image-translatormanga_ocrPaddleOCRVLManga 等模型来定位文本块并识别字符(支持日语、英语和中文)。
  • 图像修补:采用深度学习模型(AOT, lama)或传统算法(PatchMatch)来擦除原始文本并恢复背景。
  • 翻译:支持广泛的翻译引擎,包括 LLMs(OpenAI-compatible APIs, Sakura-13B-Galgame)、专业翻译器(DeepL, Sugoi, Papago)以及通用服务(Google, Caiyun)。
  • 排版:自动估算原始布局(角度、方向、对齐方式)以便将翻译后的文本放回对话框中。

适用人群

它主要面向漫画/漫画翻译者、汉化组以及希望以最少的人工干预将日语或英语漫画翻译成其他语言(特别是中文)的读者。

亮点

  • 一键翻译:自动化从检测到渲染的整个流水线。
  • 丰富的编辑套件:包括 WYSIWYG 文本编辑器、遮罩编辑和用于微调修补结果的修复画笔。
  • 灵活的翻译后端:出于隐私或成本考虑,支持云端 API 和本地离线 LLMs。
  • 多平台支持:支持 Windows、macOS 和 Linux,并为 Nvidia 和 Apple Silicon 提供 GPU 加速。
  • 无头模式:可以通过命令行运行,以便在无需 GUI 的情况下进行批量处理。

Sources