BallonsTranslator: 自動インペインティングとタイプセッティングを備えたディープラーニング支援型コミック翻訳ツール

何を解決するか

BallonTranslatorは、コミックやマンガの翻訳を自動化するために設計されたディープラーニング支援型ツールです。画像内のテキストを、手動で検出、元のテキストを削除（インペインティング）、内容を翻訳、そして元のレイアウト、色、配置を維持しようと試みながら、翻訳されたテキストを元の吹き出しに再びタイプセッティングするという、退屈なプロセスを解決します。

仕組み

このツールは、いくつかのAIモジュールを統合して、完全なパイプラインを作成します：

• テキスト検出 & OCR: manga-image-translator、manga_ocr、PaddleOCRVLMangaなどのモデルを使用して、テキストブロックを特定し、文字を認識します（日本語、英語、中国語をサポート）。
• 画像インペインティング: ディープラーニングモデル（AOT、lama）または従来のアルゴリズム（PatchMatch）を使用して、元のテキストを消去し、背景を復元します。
• 翻訳: LLM（OpenAI互換API、Sakura-13B-Galgame）、特化型翻訳機（DeepL、Sugoi、Papago）、および一般的なサービス（Google、Caiyun）を含む、幅広い翻訳エンジンをサポートしています。
• タイプセッティング: 元のレイアウト（角度、向き、配置）を自動的に推定して、翻訳されたテキストを吹き出し内に配置します。

対象ユーザー

主にマンガ/コミック翻訳者、スキャンレーション・グループ、および、最小限の手動作業で日本語や英語のコミックを他の言語（特に中国語）に翻訳したい読者向けです。

ハイライト

• ワンクリック翻訳: 検出からレンダリングまでの全パイプラインを自動化します。
• 豊富な編集スイート: WYSIWYGテキストエディタ、マスク編集、およびインペインティング結果を微調整するための修復ブラシが含まれています。
• 柔軟な翻訳バックエンド: プライバシーやコストの理由から、クラウドAPIとローカルのオフラインLLMの両方をサポートしています。
• マルチプラットフォーム対応: Windows、macOS、およびLinuxで利用可能で、NvidiaおよびApple Silicon用のGPU加速をサポートしています。
• ヘッドレスモード: GUIなしでバッチ処理を行うために、コマンドライン経由で実行できます。