kizuna-ai-lab/sokuji

Sokuji – 即時雙向語音翻譯

簡介 – Sokuji 是一款跨平台桌面應用程式和瀏覽器擴充功能，讓雙語會議中的參與者可以用自己的語言說話，並即時聽到（或閱讀）另一種語言的翻譯。它可以利用編譯為 WebAssembly/WebGPU 的裝置端模型完全離線運行，也可以將音訊轉發給 OpenAI、Google Gemini、Palabra.ai、Soniox 等雲端服務供應商。

重要性 – 即時語音翻譯通常需要雲端 API 和網際網路連線，這會增加延遲、成本和隱私顧慮。Sokuji 的本地推理模式消除了這些障礙：無需 API 金鑰，無需 GPU，資料不會離開裝置，同時透過大量的 ASR、翻譯和 TTS 模型集合支援數十種語言。

---

核心功能

類別	詳情
音訊管線	語音轉文字 → 機器翻譯 → 文字轉語音，全部在單一串流中完成。支援雙向翻譯（自動偵測哪位說話者使用哪種語言）。
本地模型	44 個 ASR 模型（包括 Whisper、Cohere Transcribe、Voxtral），75 個翻譯模型（Opus-MT、Qwen、TranslateGemma），137 個 TTS 模型（Piper、Coqui、VITS 等）。
雲端服務供應商	OpenAI、Google Gemini、Palabra.ai、Kizuna AI、Doubao AST 2.0、Soniox、Zoom AI Services、通用 OpenAI 相容端點。
語言	語音識別支援 99+ 種語言，翻譯支援 55+ 種語言，TTS 支援 53 種語言。
平台	Windows、macOS（Intel & Apple Silicon）、Linux（deb 套件）、Chrome/Edge/Brave 擴充功能。
隱私	在本地推理模式下，所有處理均在裝置上進行；雲端模式直接連接到供應商，無需任何中間伺服器。
音訊功能	虛擬麥克風輸出、即時雜訊抑制、回音消除、即時字幕、系統音訊擷取。

---

運作原理（高層流程）

1. 擷取 – 麥克風（您的聲音）和/或系統音訊（其他參與者）。
2. 選擇模式 – 雲端（將音訊傳送至供應商）或本地（透過 WASM + WebGPU 在瀏覽器/Electron 中執行 ASR/翻譯/TTS）。
3. 處理 – ASR 產生文字，翻譯模型進行轉換，TTS 模型合成目標語言的語音。
4. 輸出 – 合成的音訊傳送至虛擬麥克風，以便 Zoom、Teams、Meet、Discord 等播放翻譯後的聲音；字幕可以顯示或共享在螢幕上。

---

快速開始

目標	安裝步驟
桌面應用程式	從 Releases 頁面下載相應的安裝程式（Windows .exe、macOS .pkg、Linux .deb）。執行安裝程式並啟動 Sokuji。
瀏覽器擴充功能	從 Chrome Web Store 或 Microsoft Edge Add-ons 新增，或在開發者模式下載入壓縮的擴充功能（參見 README）。
從原始碼建置	```bash
git clone https://github.com/kizuna-ai-lab/sokuji.git
cd sokuji && npm install
npm run electron:dev # dev mode
npm run electron:build # production build

---
### 典型用例
1. 開啟 Sokuji 並設定*語言 A*（例如，日語）和*語言 B*（例如，英語）。  
2. 在 Zoom、Teams、Google Meet、Discord 等開始會議。  
3. 用您的母語說話；Sokuji 偵測語言，進行翻譯，並將翻譯後的聲音串流回會議。  
4. 另一位參與者聽到您就像在說他們的語言一樣，而您聽到他們的語音被翻譯成您的語言 – 全部即時進行。

---
### 授權與社群
- **授權:** AGPL-3.0（分發時原始碼必須保持開放）。  
- **貢獻:** 提供了指南；專案歡迎拉取請求和錯誤報告。  
- **支援:** GitHub 上的 Issues，用於想法的 Discussions，以及為 Windows 建置提供免費程式碼簽章的贊助商（SignPath）。

---
### 摘要
Sokuji 是一個即開即用、隱私優先的即時雙語會議解決方案。它可以利用大量的裝置端語音模型完全離線運行，也可以接入主要的雲端 AI 服務。安裝桌面應用程式或瀏覽器擴充功能，選擇您的兩種語言，讓工具處理跨 Zoom、Teams、Meet、Discord 及許多其他平台的即時翻譯、字幕和虛擬麥克風路由。