jedzqer/manga-translator-android

TITLE:

SUMMARY: ローカルのバブル検出とOCRを組み合わせたLLM翻訳を使用し、インタラクティブなオーバーレイでシームレスなマンガ翻訳を提供するAndroidアプリケーション。

何を解決するか

複雑なイラスト内に埋め込まれたテキストのため、外国語のマンガを読むのは難しい場合があります。このアプリは、テキストバブルを特定し、光学文字認識(OCR)を実行し、ユーザーの希望する言語にコンテンツを翻訳することで、翻訳プロセスを自動化します。

仕組み

このアプリケーションはマルチステップパイプラインを使用します：まず、YOLO11n-segを使用してバブル検出を行い、テキスト領域を特定し、次にMangaOCRやPaddleOCRなどのさまざまなモデルをサポートするOCRを適用してテキストを抽出します。このテキストは、OpenAI互換インターフェースを介してLLMに送信され、翻訳されます。翻訳されたテキストは、ドラッグ可能なバブルとして元の画像にオーバーレイされます。

対象ユーザー

日本語、韓国語、フランス語、スペイン語など、完全に理解していない言語のマンガを読むAndroidユーザー向けに設計されており、翻訳オーバーレイによるシームレスな読書体験を提供します。

ハイライト

• 日本語、英語、韓国語、フランス語、スペイン語、ポルトガル語、ドイツ語、イタリア語、ロシア語など、複数のソース言語をサポートします。
• フローティングウィンドウモードを搭載し、どのアプリやホーム画面からでもテキストを翻訳できます。
• バブル検出、キャラクター名の一貫性を保つための用語集管理、長ストリップ（ウェブトゥーン）形式のサポートなど、マンガ特化の高度な機能を含みます。
• OpenAI互換APIまたはBaidu AIを介して柔軟な翻訳バックエンドを提供します。
• ドラッグ可能な翻訳バブルとカスタムフォント設定により、豊かな読書体験を提供します。