jedzqer/manga-translator-android

何を解決するか

このプロジェクトは、Androidアプリケーションとして、マンガの翻訳を自動化するツールを提供します。ユーザーは好みの言語でコミックの翻訳版を読むことができます。画像内のテキストを手動で翻訳する問題を、バブル検出、テキスト認識、翻訳プロセスの自動化により解決します。

動作方法

アプリは、ローカルおよびAPIベースのツールをパイプラインで使用してマンガページを処理します。

1. バブル検出: YOLO26n-segモデルを使用して、マンガの会話バブルを検出し、セグメンテーションします。
2. OCR（文字認識）: PaddleOCRなどのローカルモデルまたはOpenAI互換のOCR APIを使用して、バブル内のテキストを認識します。
3. 翻訳: 認識されたテキストは、OpenAI互換APIを介して大規模言語モデル（LLM）に渡され、対象言語に翻訳されます。
4. オーバーレイ: 翻訳されたテキストは、元の画像に重ねられるドラッグ可能なバブルとして表示され、元のレイアウトを保持します。

対象ユーザー

母国語ではない言語で読みたいマンガやコミックの読者、またフローティングウィンドウ翻訳機能により、Androidデバイス上の任意のアプリや画面のテキストをリアルタイムで翻訳したいユーザー。

特徴

• 画面翻訳: フローティングウィンドウにより、Androidデバイス上の任意のアプリや画面からテキストを翻訳できます。
• 多言語対応: 日本語、英語、韓国語、フランス語、スペイン語、ポルトガル語、ドイツ語、イタリア語、ロシア語など幅広い元言語をサポートし、アプリのインターフェース言語に基づいて複数の対象言語を対応。
• マンガライブラリ管理: 画像、CBZ、ZIP、PDFファイルのインポートをサポートし、自動で進捗を保存。
• 用語集サポート: 各フォルダごとに glossary.json ファイルを維持し、名前や用語の翻訳の一貫性を確保。
• 柔軟なOCR: プライバシーと高速性を重視するユーザー向けにローカルOCRモデル、またはより高い精度が期待できるAPIベースのOCRのどちらかを選択可能。