hgmzhn/manga-translator-ui

何を解決するか

マンガの翻訳は通常、複数の手作業ステップを必要とします：画像内のテキストを検出、光学文字認識（OCR）を行い、テキストを翻訳し、元のテキストを削除（インペイント）、翻訳されたテキストを吹き出しに再配置するというプロセスです。このツールは、これらの複雑なプロセスを自動化します。

動作方法

複数のAIモデルとサービスを統合した単一のパイプラインとして構成されています：

• 検出 & OCR：PaddleOCR や MangaOCR などのモデルを使用して、マンガページからテキストを識別・抽出します。
• 翻訳：OpenAI（GPT-4o）、Gemini、Sakura などのLLMおよび翻訳エンジンに接続し、AIで抽出された用語を活用して一貫性のある翻訳を実現します。
• 画像処理：Real-CUGAN や MangaJaNai などのモデルを使用して、画像のスーパーレゾリューションとクリーニングを行います。
• タイプセット：テキストを吹き出しに自動的に収めるスマートな吹き出しレイアウトシステムを備え、横書き・縦書きの両方に対応し、HanLP を使って意味的な改行を行います。
• 編集：テキストボックス、色、フォント、マスクの手動調整が可能なビジュアルエディタを提供します。

対象ユーザー

• ワークフローを高速化したいマンガ翻訳者やスキャンレイショングループ。
• 個人利用のために自分の言語でマンガを翻訳したい読者。
• 統合的なマンガ翻訳パイプラインを探している開発者。

特徴

• エンドツーエンドのパイプライン：検出から最終レンダリングまでワンクリックで実行可能。
• マルチモーダルAI：GPT-4o と Gemini をサポートし、高品質で文脈に応じた翻訳を実現。
• ビジュアルエディタ：ルビ文字や縦書きをサポートするフルリッチテキスト編集機能。
• スマートレイアウト：吹き出しの形状に自動的にテキストのインデントとスケーリングを適用。
• バッチ処理：フォルダ全体を処理でき、PSD形式でエクスポートしてプロフェッショナルな編集に活用可能。