dmMaze/BallonsTranslator

解決する課題

BallonsTranslatorは、漫画やコミックの翻訳を自動化するためのディープラーニング支援ツールです。テキスト検出、光学文字認識（OCR）、画像の補間（元のテキストの削除）、機械翻訳を1つのワークフローに統合することで、視覚メディアの翻訳という面倒なプロセスを簡素化します。

動作方法

このツールは4つの主要モジュールからなるパイプラインで動作します：

1. テキスト検出：画像内のテキスト領域を識別（日本語および英語に対応）。
2. OCR：その領域内のテキストを認識し、色情報を抽出。
3. 画像補間：AOT、LaMa、PatchMatchなどのアルゴリズムを使用して元のテキストを削除し、背景を復元。
4. 翻訳：Google、DeepL、Papago、またはLLMなどのさまざまなエンジンでテキストを翻訳。

上級ユーザー向けには、視覚的文脈を活用したLLMの統合、翻訳履歴（名前やトーンの一貫性を維持）、再利用可能な用語集により翻訳品質を向上させます。また、フォントスタイル、エフェクト、レイアウトの手動調整に対応する豊富なテキストエディタも提供しています。

対象ユーザー

主に漫画・コミックの翻訳者、スキャンレイショングループ、日本語や英語のコミックを自分の言語に翻訳したい読者向けです。手動作業を最小限に抑えながら翻訳を実現できます。

特徴

• ワンクリック翻訳：検出から組版までを完全自動化。
• LLM統合：履歴、要約、視覚入力を活用した文脈認識翻訳により、物語の一貫性を確保。
• 高度な画像編集：マスク編集と専用の修復ブラシでテキスト領域のクリーニングを可能に。
• 柔軟な翻訳エンジン：ローカルモデル（Sakura-13B）、APIベースのサービス（OpenAI、DeepLX）、専用の漫画OCRなど、幅広い提供元に対応。
• 豊富なテキストツール：テキスト変形、特殊エフェクト、バッチフォーマットに対応するWYSIWYGエディタを搭載。