niedev/RTranslator

何を解決するか

RTranslator は、Android ユーザー向けの無料でオフライン、プライバシー重視のリアルタイム翻訳ソリューションを提供します。インターネット接続やクラウドサービスを必要とせず、音声会話の翻訳が可能になり、すべてのデータをデバイス内に保持したまま、リアルタイムで言語の壁を越えてコミュニケーションできます。

動作方法

アプリは、デバイス上で実行される AI モデルを活用して音声認識、翻訳、テキスト読み上げを行います：

• 音声認識：OpenAI の Whisper を使用して、音声をテキストに変換します。
• 翻訳：Meta の NLLB（No Language Left Behind）または、Mozilla Bergamot、Madlad 400、HY-MT などの代替モデル（最新バージョンでは）を使用して、言語間のテキスト翻訳を行います。
• 音声出力：Android システムの Text-to-Speech（TTS）エンジンを使用して、翻訳されたテキストを音声で読み上げます。

3つの主要モードを提供しています：

1. 会話モード：Bluetooth LE を介して2台以上のスマートフォンを接続し、リアルタイムで翻訳された音声とテキストをやり取りします。
2. ワルキートークモード：単一のスマートフォンで2つの言語を検出し、順次翻訳して素早いやり取りを可能にします。
3. テキスト翻訳モード：標準的なテキスト対テキスト翻訳モードです。

対象ユーザー

インターネット接続なしでリアルタイム翻訳が必要な Android ユーザー。絶対的なプライバシーを重視し、オンデバイス AI モデルを処理できる少なくとも 6GB の RAM を搭載したデバイスを持っているユーザー。

特徴

• 完全オフライン：すべての AI 処理がスマートフォン上で行われ、データなしでプライバシーと機能性を確保します。
• 最適化されたパフォーマンス：モデルは ONNX 形式に変換され、int8 に量子化されており、RAM 使用量と実行時間を削減します。
• マルチデバイス同期：会話モードでは、複数の接続デバイス間でスムーズな翻訳が可能になります。
• 広範な言語対応：多数の言語をサポートしており、追加の珍しい言語用に「低品質」設定も用意されています。
• バックグラウンド動作：スマートフォンがスタンバイ中や他のアプリを使用中でも動作可能です。