kizuna-ai-lab/sokuji
Real-time two-way speech translation for bilingual meetings — auto-detects the spoken language and translates both directions, cloud or fully offline on-device. Desktop (Windows · macOS · Linux) + browser extension (Chrome · Edge) for Zoom, Meet, Teams & any app.
解決する課題
Sokujiは、Zoom、Teams、Discordなどさまざまなプラットフォームで、異なる言語を話す人々がシームレスにコミュニケーションできる、リアルタイムで双方向の音声翻訳を提供します。ライブ字幕と翻訳された音声出力を通じて、言語の壁を解消します。
動作方法
アプリはマイクおよびシステム音声から音声をキャプチャし、翻訳パイプライン（音声認識 → 翻訳 → 音声合成）で処理します。ユーザーは以下の2つの処理モードを選択できます：
- クラウドモード：OpenAI、Google Gemini、Sonioxなどのプロバイダーに直接接続し、高性能な翻訳を実現します。
- ローカル推論：sherpa-onnxとTransformers.jsを介してWASMおよびWebGPUですべてをデバイス上で実行し、APIキー不要、インターネット接続不要、専用GPU不要です。
対象ユーザー
多言語会議に参加するプロフェッショナルや個人、ゲームプレイヤー、またはあらゆるデスクトップアプリやウェブベースの会議プラットフォームで、自分の声や他の参加者の音声をリアルタイムで翻訳したいすべての人々に最適です。
特徴
- 双方向翻訳：スピーカーの言語を自動検出し、両方向で同時に翻訳します。
- ハイブリッド処理：クラウドベースのAPIと完全オフラインのローカル推論の両方をサポートし、プライバシーを最大限に確保します。
- クロスプラットフォーム：デスクトップアプリ（Windows、macOS、Linux）およびブラウザ拡張機能（Chrome、Edge）で利用可能。
- 広範なモデル対応：WhisperやQwenを含む、数十種類のASR、翻訳、TTSモデルをローカルで利用可能。
- 音声ツールキット：AIノイズ除去、エコーキャンセリング、仮想マイクを搭載し、翻訳された音声を他のアプリにルーティングできます。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト