bquenin/interpreter

Interpreter – 日本語レトロゲーム用オフライン画面翻訳ツール

何であるか – 任意のウィンドウ（通常はレトロ日本語ゲーム）の画像をキャプチャし、キャプチャしたフレームに対してOCRを実行し、抽出された日本語テキストを英語に翻訳し、サブタイトルとして表示するデスクトップアプリケーション。すべての処理はローカルで行われ、クラウドサービスは使用されません。

主な機能

• 完全オフライン – 初回のモデルダウンロード（約1.5 GB）後はインターネット接続なしで動作し、データのプライバシーを保ちます。
• OCR – ピクセル単位の日本語ゲームフォントで訓練された MeikiOCR を使用し、低解像度スクリーンショットからのテキスト認識を行います。
• 翻訳 – CTranslate2を介してHugging Face上でホストされている Sugoi V4 日本語→英語モデルを使用し、英語のサブタイトルを生成します。
• 2種類のオーバーレイスタイル –
  • バナーモード：画面下部のドラッグ可能なサブタイトルバー。
  • インプレイスモード：元の日本語文字の上に透過テキストを直接レンダリング。クリックスルー可能で、ゲームのプレイを妨げません。
• キャッシュ – 以前に表示された文字列を曖昧一致で照合し、同一または類似のテキストの再翻訳を回避することで、処理速度を向上させます。
• マルチディスプレイ対応 – オーバーレイはキャプチャされたウィンドウと同じモニタに表示されます。

対応プラットフォーム

• Windows 10 (1903+)
• macOS
• Linux (X11, XWayland, Wayland) – Waylandについては追加注意事項あり（グローバルホットキー、PipeWireキャプチャ、フルスクリーン限定のインプレイスオーバーレイ）。

インストール

• macOS/Linux用のワンライナー スクリプト（curl … | bash）とWindows PowerShell用（irm … | iex）。
• インストーラーはバイナリ interpreter-v2、必要なライブラリ、およびOCR/翻訳モデルをダウンロードします。

プログラムの実行方法

interpreter-v2

ターゲットウィンドウの選択、オーバーレイモードの選択、OCRの信頼度調整、その他の設定を変更できるGUIを起動します。

内部での動作プロセス

1. 画面キャプチャ – 設定可能なレートで選択したウィンドウからフレームを取得します。
2. OCR – 各フレームをMeikiOCRに送信し、日本語テキストとその画面座標を取得します。
3. 翻訳 – CTranslate2を介してHugging Face上でホストされているSugoi V4モデルに抽出された文字列を渡し、高速なCPU/GPU推論を実行します。
4. 表示 – 英語テキストを画面下部のバナーまたは元の文字の上に直接レンダリングします。

READMEからのトラブルシューティングのヒント

• OCRの精度が低い場合：信頼度スライダーを調整してください。低い値はより多くのテキストをキャプチャしますが、ノイズも増える可能性があります。
• パフォーマンスが遅い場合：初回実行時にモデルがダウンロードされます。以降は ~/.cache/huggingface/ にキャッシュされたコピーが使用されます。

なぜ重要なのか – 日本語レトロゲームを外部翻訳サービスに頼らずにプレイできる、実用的かつプライバシー保護型のAIパイプライン（キャプチャ → OCR → ニューラル機械翻訳）の具体例を示しています。