thanhkeke97/RSTGameTranslation

解決する課題

RSTGameTranslationは、ビデオゲームにリアルタイム翻訳を提供し、プレイヤーがゲームウィンドウを離れることなく、外国語のテキストや音声を即座に理解できるようにします。画面上のテキストを自動的にキャプチャして翻訳することで、ゲームの会話やメニューを手動で翻訳する手間を解消します。

仕組み

このツールは、AIを活用した光学文字認識（OCR）を組み合わせて選択した画面領域からテキストをキャプチャし、大規模言語モデル（LLM）や翻訳サービスを使用してそのテキストを翻訳します。また、音声認識（STT）機能を備えており、ゲームの音声から音声を認識して翻訳することも可能です。アクセシビリティと利便性のために、翻訳されたテキストをオーバーレイやチャットウィンドウとして出力したり、テキスト読み上げ（TTS）を使用して翻訳されたテキストを読み上げたりすることができます。

対象ユーザー

理解できない言語でゲームをプレイするゲーマー、およびAI翻訳と音声合成をゲーム体験に統合したいユーザー。

ハイライト

• 多様なAIバックエンド: Gemini、Groq、ChatGPT、Google Translateなどの幅広い翻訳サービスに加え、OllamaやLM Studioなどのローカルオプションもサポートしています。
• クロストーク認識: ゲームのコンテキストやキャラクター名の検出のためのスマートな認識機能が含まれています。
• 多機能なTTS: 31言語をサポートする100%ローカル・オフラインのTTS（Supertonic）を含む、4つのTTSバックエンドを提供します。
• 柔軟な表示: 翻訳されたテキストのためのオーバーレイとチャットウィンドウを提供します。
• 音声認識（STT）: ゲームの音声から直接音声を認識し、翻訳することができます。