ciddwd/overlay-translator

无需 ROOT 的开源 Android 屏幕实时翻译工具，适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读（TTS），译文可直接显示在画面上。Open-source no-root Android real-time screen translator for games, visual novels, and manga. Supports on-device and cloud OCR, offline LLMs, multiple translation services, on-screen translations, and text-to-speech (TTS).

Screen Translator (屏译) – 何がそれか

Screen Translator は、スマートフォンの画面に表示されるテキストをリアルタイムで翻訳できる Android アプリです。スクリーンショットを取得し、OCR（光学式文字認識）でテキストを抽出し、翻訳エンジン（ローカルモデル、クラウド LLM、または従来の MT サービス）に送信して翻訳結果を元の画像の上にオーバーレイ表示します。オーバーレイは浮動ウィンドウまたは元のテキストに固定されたブロックのどちらかで、アプリは翻訳結果を音声読み上げることもできます。

主な機能（README に記載）

機能	動作方法
スクリーンキャプチャ	Android の MediaProjection API または Shizuku サービスを使用して、root 必須なしで画面を取得します。
OCR（テキスト抽出）	複数のバックエンドに対応：デバイス内 ML Kit、PaddleOCR（v5/v6）、専用のマンガ OCR、ローカル HTTP サービス（Umi‑OCR、LunaTranslator）、クラウド OCR（PP‑OCRv6、Baidu、Tencent、Youdao）。検出された元言語に対応するエンジンを自動選択します。
翻訳	多様なエンジンをサポート：デバイス内モデル（Sakura、Hy‑MT2）、Google ML Kit、DeepL（公式または自己ホスト版 deeplx）、OpenAI互換 LLM（ChatGPT、Claude、DeepSeek など）、Anthropic互換サービス、その他の商用 API（Baidu、Tencent、Volcano、MiniMax、MiMo）。
オーバーレイ表示	2 種類のレンダリングモード – BLOCKS（元の単語上に直接配置されたテキストブロック）またはドラッグ可能な浮動ウィンドウ。オーバーレイは自動的に色、フォント、レイアウトを元の画像に合わせて調整でき、縦書きの日本語マンガパネルや吹き出し検出も対応します。
テキスト読み上げ（TTS）	デバイス内 TTS、自己ホスト音声サービス、クラウドプロバイダー（Volcano、MiniMax、MiMo）を使用。元のテキスト、翻訳、辞書エントリを読み上げられます。
単語レベルの照会	選択ボックス（"単語選択モード"）をドラッグすることで、翻訳、発音、品詞、同義語、例文、説明を含む辞書カードを表示（より豊富なデータは LLM から取得）。
バッチ処理	ギャラリーから画像をインポート、または他のアプリから共有して取得。アプリは複数のスクリーンショットをバックグラウンドで処理するタスクを作成し、結果を保存し、翻訳済みテキストを埋め込んだ画像をオプションでエクスポートできます。
ループ／自動翻訳	ループモードでは、固定間隔またはテキストが安定したタイミングで画面を繰り返しキャプチャ。同一フレームはスキップされ、会話領域が優先されます。
カスタマイズ可能な UI	テーマ（ライト／ダーク／システムに従う）、カラーピッカー、フォントインポート（`.ttf`）、ボタン順序編集、アプリごとの翻訳プリセット。
プライバシーとオフライン対応	すべての OCR と翻訳はデバイス上で完全に実行可能。クラウドサービスはオプション。機密設定（API キー、プロンプト）は暗号化して保存されます。

誰が使うべきか？

外国語ゲームのライブ字幕が必要な ゲームプレイヤー。
縦書き日本語テキストを即座に翻訳したい マンガ／ビジュアルノベル読者。
スマートフォンで読書中に素早く辞書照会したい 言語学習者。
オープンソースで自己ホスト可能なパイプラインを好む 開発者や趣味のユーザー（自前の OCR や翻訳サーバーに接続可能）。

技術的ハイライト

Kotlin 2.x で記述、Jetpack Compose UI を使用。
最小 Android バージョン：API 26（Android 8.0）。
モジュール化パイプライン：OCR、翻訳、TTS は独立。ローカルまたはリモートコンポーネントを自由に組み合わせ可能。
モデル管理：バックグラウンドでのデバイス内モデルダウンロード、再開可能転送、自動スレッド数スケーリング（最大 6 CPU スレッド）。
アクセシビリティ：浮動 UI 要素に対して基本的な TalkBack 対応。

はじめ方（README に記載）

Releases ページから最新の ScreenTranslator‑x.y.z.apk をダウンロード（arm64‑v8a のみ）。必要に応じて SHA‑256 チェックサムを検証。
APK をインストール（信頼できないソースを許可）し、オーバーレイおよび通知の権限を付与。
アプリ内で スクリーンキャプチャサービス を起動し、対象のゲーム／マンガに切り替え、浮動ボールをタップして画面全体を翻訳、または単語選択モードに入ります。
オプション：アクセシビリティショートカット（音量＋と－を 0.3 秒間同時に押下）を有効化してグローバルトリガーを設定、または Shizuku をインストールして MediaProjection の権限プロンプトを回避。

AI/ML にとっての意義

Screen Translator は本質的に モバイル AI パイプライン です：最先端の OCR モデル（ML Kit、PaddleOCR、専用 ONNX モデル）と 大規模言語モデル または従来の MT サービスを組み合わせ、必要に応じて TTS 音声モデルも利用します。これらのコンポーネントはすべてカスタマイズ可能で、Apache‑2.0 ライセンスのオープンソースプロジェクトとして、オンデバイス AI やハイブリッドクラウド・エッジ翻訳システムの構築に役立つ参考になります。

TL;DR: Screen Translator は、画面をキャプチャし、OCR を実行し、ローカルモデルまたはクラウド LLM でテキストを翻訳して結果をオーバーレイ表示（または音声読み上げ）するオープンソース Android アプリです。完全にカスタマイズ可能で、オフラインでも動作し、ゲームプレイヤー、マンガ読者、言語学習者をターゲットとしています。