zyddnys/manga-image-translator

解決する課題

このプロジェクトは、画像内のテキストを翻訳するためのワンクリックソリューションを提供します。特に、漫画、マンガ、グループチャットや画像掲示板の画像など、プロの翻訳がほとんど行われないコンテンツを対象としています。テキスト検出から最終的な組版までのパイプライン全体を処理し、日本語、中国語（簡体字・繁体字）、英語、その他20の言語をサポートしています。

仕組み

このツールは、多段階のAIパイプラインを使用して画像を処理します。

1. 検出：画像内のテキスト領域を特定します。
2. OCR：検出された領域からテキストを抽出します。
3. 翻訳：抽出されたテキストを、さまざまなサポートされている翻訳エンジン（Sugoi、Sakura、OpenAIなどのオプションを含む）を使用して翻訳します。
4. インペインティング：lama_large などのモデルを使用して、画像から元のテキストを除去（画像修復）し、クリーンな背景を作成します。
5. 組版：翻訳されたテキストを画像にレンダリングし、フォントサイズ、フォントパス、レイアウトを調整して元のテキスト吹き出しに合わせることができます。

対象ユーザー

• マンガ・コミック読者：外国語のコンテンツを自分で翻訳したい方。
• 画像掲示板やグループチャットのユーザー：日本語や中国語の画像テキストを理解したい方。
• 開発者：CLI、Web UI、またはAPIを介して画像翻訳機能を統合したい方。

ハイライト

• 完全なパイプライン：テキスト検出、OCR、翻訳、インペインティングを単一のワークフローに統合。
• 柔軟なデプロイ：ローカルバッチプロセッサ、UI付きWebサーバー、またはAPIサービスとして利用可能。
• 広範な言語サポート：20以上の言語をサポートし、特に日本語に重点を置いています。
• カスタマイズ性：レンダリング、アップスケーリング、インペインティング、OCRの詳細な設定を提供し、翻訳品質を向上させます。
• Dockerサポート：CPUおよびGPUアクセラレーション用の事前設定済みDockerイメージを提供。