dmMaze/BallonsTranslator

深度学习辅助漫画翻译工具, 支持一键机翻和简单的图像/文本编辑 | Yet another computer-aided comic/manga translation tool powered by deeplearning

BallonsTranslator – AI支援の漫画翻訳ツール

概要 – 漫画家のパネル（日本語、中国語、英語など）の翻訳を、OCR、機械翻訳、画像インペインティングを組み合わせて支援するデスクトップアプリケーションです。ワンクリック翻訳を実行し、その後、ビジュアルエディタやテキストエディタで結果を微調整できます。

主な機能

機能	説明
ワンクリック機械翻訳	吹き出しを検出し、テキストを抽出し、OCRを実行し、選択した翻訳エンジン（Google、DeepL、OpenAI互換LLM、Sugoi、Sakura-13Bなど）にテキストを送信し、翻訳テキストを画像に書き戻します。フォントサイズ、色、向き、配置を可能な限り保持します。
画像編集	マスクベースの消去と修復ブラシ（AOT、PatchMatch、LAMA）を使用して、翻訳を再埋め込みする前に元の文字を削除し、背景を塗りつぶします。
リッチテキスト編集	フォントスタイルのプリセット、エフェクト、変形、検索・置換、Word文書のインポート/エクスポートを備えたWYSIWYGエディタ。
LLM強化翻訳	オプションのコンテキストウィンドウで、前のページとユーザー指定の用語表をLLMに供給し、名前や用語の不整合を減らします。トークンバジェットで、保持する過去のページ数を制御できます。
ビジュアルコンテキストと要約	ビジョン対応LLMを使用する場合、モデルはパネル画像を参照できます。また、ページごとの要約と、後のページでコンテキストとして再利用されるプロジェクトレベルの「メモリ」を生成できます。
バッチ/CLIモード	多数のフォルダを自動処理するためのヘッドレスコマンドラインインターフェイス（`python -m ballontranslator --headless …`）。

仕組み（ハイレベルパイプライン）

テキスト検出 – 吹き出しのバウンディングボックスを検出します。YSG-Yolo、CTD、Stariver「団子」クラウドOCRサービスをサポートします。 |
OCR – manga-image-translatorのモデル（manga_ocr、PaddleOCR-VL-For-Mangaを含む）を使用して、日本語/英語/中国語の文字を読み取り、オプションで色情報を抽出します。 |
翻訳 – 抽出された文字列を選択した翻訳エンジンに送信します。無料API（Google、DeepL、Papagoなど）またはセルフホストLLM（OpenAI互換、Sakura-13B、Sugoi）を選択できます。 |
インペインティング – インペインティングモデル（AOT、PatchMatch、LAMA）を使用して元のテキストを削除し、クリーンな背景を作成します。 |
再埋め込み – 元のレイアウトの手がかり（角度、配置、色）を使用して、翻訳テキストをパネルにレンダリングします。 |
後編集 – ビジュアルブラシ、長方形消しゴム、またはリッチテキストエディタを使用して結果を調整できます。 |

インストールとプラットフォーム

Windows – ワンクリックPowerShellインストーラー（install.ps1）またはビルド済みzip（Ballonstranslator_win_minium.zip）。Windows 10+が必要（手動でPython 3.8をインストールしない限りWindows 7は非対応）。 |
macOS / Linux – ワンクリックBashインストーラー（install.sh）。 |
GPUアクセラレーション – Nvidia CUDAまたはAppleシリコンGPUを自動検出。ZLUDAを介したAMD ROCmサポート（手動ドライバー設定が必要）。 |
依存関係 – 検出、OCR、インペインティングモデルにmanga-image-translatorプロジェクトに大きく依存。追加のオプションモデルは初回使用時にダウンロードされます。 |

拡張性

新しい翻訳エンジンの追加 – 基本翻訳エンジンのサブクラスを実装し、2つのメソッドを公開します。PR歓迎。 |
カスタム用語表 – UTF-8 .json、.txt、または.tsvファイルを読み込みます。一致する用語がLLMプロンプトに注入されます。 |
モジュール式自動モジュール – 各ステージ（検出器、OCR、翻訳エンジン、インペインティング）を設定パネルからオン/オフに切り替えられます。 |

対象ユーザー

漫画のローカライズを高速化したい趣味の翻訳者。
コミック翻訳のクイックプロトタイプが必要な小規模スタジオ。
コミックパネルデータでマルチモーダルLLMを実験する研究者。

成熟度とコミュニティ

活発にメンテナンスされています（インストールスクリプト、イシュートラッカー、Telegram & QQグループ）。 |
いくつかの外部モデルに依存しており、個別にダウンロードする必要があるため、初期セットアップは重くなる可能性があります。 |
ドキュメントには、多言語のREADMEと、OCRサービス、GPUセットアップ、新しい翻訳エンジンの追加に関する詳細なガイドが含まれています。 |

結論 – BallonsTranslatorは、コンピュータビジョン（テキスト検出とインペインティング）と大規模言語モデル翻訳を組み合わせてコミックのローカライズを自動化する、本格的なAI駆動のデスクトップツールです。高品質な結果のために手動編集も提供しています。