bquenin/interpreter

何を解決するか

Interpreter は、日本語のレトロゲーム専用に設計されたオフライン画面翻訳ツールです。画面をキャプチャし、光学文字認識（OCR）を実行し、英語訳を浮遊型オーバーレイとしてリアルタイムで表示することで、インターネット接続や有料APIを必要とせずに、プレイヤーがゲーム内のテキストを即座に理解できるようにします。

動作方法

このツールは4段階のパイプラインで動作します：

1. 画面キャプチャ：指定されたウィンドウまたはビデオデバイス（例：キャプチャカード）を、設定されたリフレッシュレートでキャプチャします。
2. OCR：デフォルトではピクセルフォントに最適化された MeikiOCR を使用します。また、外部の owocr サーバーに接続して、Google Lens や Apple Live Text などの他のエンジンを使用することも可能です。
3. 翻訳：デフォルトでオフラインの日本語→英語翻訳に Sugoi V4 を使用します。Ollama や OpenAI互換APIを介してLLMエンドポイントに接続することで、より高品質な翻訳や他の言語への翻訳も可能になります。
4. 表示：翻訳されたテキストは「Banner」（字幕バー）または「Inplace」（ゲームウィンドウ上に直接テキストを重ねる）のいずれかで表示されます。

対象ユーザー

クラウドサービスに依存せずに、リアルタイムでプライベートかつ無料の翻訳を希望する日本語レトロゲームのプレイヤー。

特徴

• 完全オフライン：初期設定後はクラウドAPIやインターネット接続を必要としません。
• レトロゲーム最適化：ピクセル化されたゲームテキストの処理に優れた MeikiOCR を使用。
• 柔軟なオーバーレイ：字幕バーと、元の日本語テキスト上に直接重ねる透明なオーバーレイの両方を提供。
• 拡張可能な翻訳：Ollama および他のLLMエンドポイントとの統合により、翻訳品質の向上と多言語対応が可能。
• 多言語対応：owocr とLLMエンドポイントを設定すれば、中国語、韓国語、および複数のヨーロッパ言語のゲームも翻訳可能。