kizuna-ai-lab/sokuji

解決する課題

Sokujiは、バイリンガル会議向けにリアルタイムの双方向音声翻訳を提供し、ライブ会話における言語の壁を取り除きます。使用しているプラットフォーム（Zoom、Teams、Discordなど）に関係なく、自分の声を翻訳して相手に聞かせたり、他の参加者からの音声を受信して字幕や音声に変換したりすることができます。

仕組み

Sokujiはマイクとシステムオーディオから音声をキャプチャし、自動音声認識（ASR）、翻訳、テキスト読み上げ（TTS）のパイプラインを通じて処理します。ユーザーは2つの処理モードから選択できます：

• Cloud Mode: OpenAI、Google Gemini、Sonioxなどのプロバイダーに直接接続し、高性能な翻訳を実現します。
• Local Inference: WASMとWebGPU（sherpa-onnxおよびTransformers.js経由）を使用してデバイス上ですべてを実行するため、APIキーやインターネット接続、専用GPUは必要ありません。

対象ユーザー

バイリンガル会議に参加する人、ゲーマー、または異なるアプリケーション間でライブ翻訳を必要とするすべての人を対象としています。主要なオペレーティングシステム向けのデスクトップアプリ、およびウェブベースの会議プラットフォーム向けのブラウザ拡張機能として提供されています。

ハイライト

• 双方向翻訳: 話者の言語を自動検出し、両方向への翻訳を同時に行います。
• プライバシー重視のローカルAI: ASR、翻訳、TTSをデバイス上で完全にオフラインで処理します。
• 幅広い互換性: 仮想マイク（デスクトップ版）またはブラウザ内（拡張機能）を通じて、あらゆるアプリで使用可能です。
• 広範なモデルサポート: 50以上のASRモデル、55以上の翻訳ペア、136のTTS音声にアクセス可能です。
• AIオーディオツール: ノイズ抑制とエコーキャンセレーションを内蔵しています。