ciddwd/overlay-translator

📱 Screen Translator (スクリーン翻訳)

何であるか – スクリーンをキャプチャし、画像に対してOCRを実行し、認識されたテキストを翻訳エンジン（LLMベース、クラウドMT、またはオフラインモデル）に送信して、翻訳結果を画面にオーバーレイ表示するAndroidアプリ。また、TTSを使ってテキストを音声読み上げることも可能。全体の処理フロー（キャプチャ → OCR → 翻訳 → 表示／音声）はモジュール式であり、ローカルまたはリモートサービスを自由に組み合わせられる。

主な機能

• リアルタイムオーバーレイ翻訳 – フローティングボールをタップするだけで、画面全体または選択領域を翻訳可能。翻訳結果は元のテキスト上に直接表示されるか、ドラッグ可能な別ウィンドウに表示される。
• バッチ画像翻訳 – ギャラリーから複数のスクリーンショットを選択するか、アプリに画像を共有することで、バックグラウンドで一括処理可能。
• 複数のOCRバックエンド – オンデバイスML Kit、PaddleOCR（v5/v6）、専用のマンガOCR、HTTPベースのサービス（Umi-OCR/LunaTranslator）。クラウドOCR（Baidu、Tencent、Youdao、PaddleOCR AI Studio）もフォールバックとしてサポート。
• プラグイン式翻訳エンジン –
  • オンデバイスモデル：Sakura、Hy-MT2（ともに約1GB、CPUで動作）。
  • クラウド／LLMサービス：OpenAI互換、Anthropic互換、DeepSeek、Claude、ModelScope、OpenRouterなど。
  • 伝統的MT：DeepL / DeepLX、Google、Baidu、Tencent、Youdao、小牛翻訳。
• テキストから音声 – デバイス内蔵音声、自己ホスティングTTSサーバー、商用サービス（火山、MiniMax、MiMo）を利用可能。元のテキスト、翻訳結果、辞書エントリを読み上げられる。
• 単語レベルの照合 – 単語／フレーズを囲んでボックスを描画すると、翻訳、発音、品詞、例文、さらにLLMを使用した場合の詳細な説明を含む辞書カードが表示される。
• スマートUI – 横方向／縦方向レイアウトの自動検出、マンガ用の吹き出し検出、背景色との調和、オプションの「タイトフィット」レンダリング（翻訳を描画する前に元のテキストを消去）。
• カスタマイズ – 色選択ツール、フォントインポート（.ttf）、アプリごとの翻訳プリセット、一貫性のある用語バンク、非機密設定のエクスポート／インポート、APIキーの暗号化保存、検索可能な設定ページ。
• アクセシビリティと安定性 – TalkBackラベル、セキュリティ保護されたクラッシュログ、通知付きのモデルバックグラウンドダウンロード、OEMの過剰なバックグラウンド終了ポリシーへの対応。

一般的なワークフロー

1. APKをインストール（arm64-v8aのみ）し、オーバーレイおよび通知権限を付与。
2. スクリーンキャプチャサービスを開始（MediaProjectionまたはShizukuでスムーズなパス）。
3. ゲーム中、ビジュアルノベルを読んでいる時、または漫画を閲覧しているときに、フローティングボールをタップ。
4. アプリが画面をキャプチャし、選択されたOCRエンジンを実行し、テキストを選択した翻訳エンジンに送信し、結果を画面に描画。
5. オプション：ボールを長押ししてラジアルメニューを表示、ボリュームボタンショートカットを使用、またはAndroidクイック設定タイルからアプリを起動。

誰が恩恵を受けるか

• 外国語の会話にリアルタイム字幕が必要なゲームプレイヤー。
• 縦書き日本語テキストを即座に翻訳したいマンガ／ビジュアルノベル読者。
• Android上でプライバシー保護が可能な、可能な限りオフラインで動作するスクリーン翻訳ツールを求める誰もが。

インストールノート

• 最新版の ScreenTranslator-x.y.z.apk をリリースページからダウンロード（arm64-v8aビルドのみ提供）。
• 必要に応じてSHA-256チェックサムを検証。
• インストール後、フローティングウィンドウ権限を有効化。Shizuku統合を希望する場合は、Shizukuアプリをインストールし、ルートレス権限を付与。

なぜ重要なのか Screen Translatorは、モバイルOCR、オフライン大規模言語モデル翻訳、柔軟なTTSといった最先端AI技術を統合し、ユーザーが完全に制御可能なAndroid体験を提供する。モジュール構造により、パワーユーザーはすべてをオフラインで保持してプライバシーを守りつつ、一般ユーザーはクラウドサービスに接続して高品質な翻訳を享受できる。