zyddnys/manga-image-translator

解決する課題

このプロジェクトは、画像内のテキストを翻訳するためのワンクリック・ソリューションを提供します。特に、マンガ、コミック、グループチャットや画像掲示板の画像など、プロによる翻訳が少ないコンテンツを対象としています。テキストの検出、画像からの削除、そして画像の視覚的な整合性を維持しながら翻訳後のテキストに置き換えるプロセスを自動化します。

仕組み

このツールは、画像処理のためにAIモデルのパイプラインを採用しています：

1. Detection: 画像内のテキストエリアを特定します。
2. OCR: 特定されたエリアから元のテキストを抽出します。
3. Translation: 抽出されたテキストをターゲット言語（日本語、中国語、英語、およびその他20言語をサポート）に翻訳します。
4. Inpainting: 元のテキストを削除し、画像背景を修復します（lama_large などのモデルを使用）。
5. Typesetting: フォントのカスタマイズやレイアウト調整のオプションとともに、翻訳されたテキストを画像上に再描画します。

対象者

• コンテンツを母国語で読みたいマンガ・コミックの読者。
• ソーシャルメディアや画像掲示板の画像に埋め込まれたテキストを翻訳する必要があるユーザー。
• 画像ベースのコンテンツを理解するために助けを必要としている日本語学習者や初心者。

ハイライト

• 包括的なパイプライン: テキスト検出とOCRから、インペインティングとタイポグラフィまで、すべてを処理します。
• 多言語サポート: 日本語、簡体字中国語、繁体字中国語、英語、および追加の20言語をサポートしています。
• 柔軟なデプロイ: ローカルのバッチプロセッサ、UI付きのWebサーバー、またはAPIとして利用可能です。
• カスタマイズ可能: 検出器、OCRエンジン、翻訳機（OpenAIを含む）、およびインペインターに対して広範な設定を提供します。
• GPU加速: 高速処理のために CUDA および MPS をサポートしています。