kizuna-ai-lab/sokuji

Real-time two-way speech translation for bilingual meetings — auto-detects the spoken language and translates both directions, cloud or fully offline on-device. Desktop (Windows · macOS · Linux) + browser extension (Chrome · Edge) for Zoom, Meet, Teams & any app.

解決的問題

Sokuji 為雙語會議提供即時雙向語音翻譯，消除即時對話中的語言障礙。無論使用何種平台（例如 Zoom、Teams、Discord），使用者都可以翻譯自己的聲音讓他人聽到，並將其他參與者的音訊轉換為字幕或語音。

工作原理

Sokuji 從麥克風和系統音訊中擷取音訊，然後透過自動語音辨識 (ASR)、翻譯和文字轉語音 (TTS) 的流水線進行處理。使用者可以在兩種處理模式之間進行選擇：

  • Cloud Mode：直接連接到 OpenAI、Google Gemini 和 Soniox 等提供商，實現高性能翻譯。
  • Local Inference：使用 WASM 和 WebGPU（透過 sherpa-onnx 和 Transformers.js）在裝置上執行所有操作，無需 API 金鑰、網際網路連接或專用 GPU。

適用對象

專為參加雙語會議的人士、遊戲玩家或任何需要在不同應用程式之間進行即時翻譯的人士設計。它提供適用於所有主要作業系統的桌面應用程式，以及適用於網頁版會議平台的瀏覽器擴充功能。

亮點

  • 雙向翻譯：自動偵測說話者語言並同時進行雙向翻譯。
  • 隱私優先的本地 AI：在裝置上完全離線進行 ASR、翻譯和 TTS 處理。
  • 廣泛的相容性：透過虛擬麥克風（桌面端）或直接在瀏覽器中（擴充功能）與任何應用程式協同工作。
  • 廣泛的模型支援：可存取 50 多種 ASR 模型、55 多種翻譯對和 136 種 TTS 語音。
  • AI 音訊工具：內建降噪和回聲消除功能。