kizuna-ai-lab/sokuji

Sokuji – 实时双向语音翻译

简介 – Sokuji 是一款跨平台桌面应用和浏览器扩展，让双语会议中的参与者可以用自己的语言说话，并即时听到（或阅读）另一种语言的翻译。它可以利用编译为 WebAssembly/WebGPU 的本地模型完全离线运行，也可以将音频转发给 OpenAI、Google Gemini、Palabra.ai、Soniox 等云服务提供商。

重要性 – 实时语音翻译通常需要云 API 和互联网连接，这会增加延迟、成本和隐私顾虑。Sokuji 的本地推理模式消除了这些障碍：无需 API 密钥，无需 GPU，数据不会离开设备，同时通过大量的 ASR、翻译和 TTS 模型集合支持数十种语言。

---

核心功能

类别	详情
音频管道	语音转文本 → 机器翻译 → 文本转语音，全部在单一流中完成。支持双向翻译（自动检测哪位说话者使用哪种语言）。
本地模型	44 个 ASR 模型（包括 Whisper、Cohere Transcribe、Voxtral），75 个翻译模型（Opus-MT、Qwen、TranslateGemma），137 个 TTS 模型（Piper、Coqui、VITS 等）。
云服务提供商	OpenAI、Google Gemini、Palabra.ai、Kizuna AI、Doubao AST 2.0、Soniox、Zoom AI Services、通用 OpenAI 兼容端点。
语言	语音识别支持 99+ 种语言，翻译支持 55+ 种语言，TTS 支持 53 种语言。
平台	Windows、macOS（Intel & Apple Silicon）、Linux（deb 包）、Chrome/Edge/Brave 扩展。
隐私	在本地推理模式下，所有处理均在设备上进行；云模式直接连接到提供商，无需任何中间服务器。
音频功能	虚拟麦克风输出、实时噪声抑制、回声消除、实时字幕、系统音频捕获。

---

工作原理（高层流程）

1. 捕获 – 麦克风（您的声音）和/或系统音频（其他参与者）。
2. 选择模式 – 云（将音频发送到提供商）或本地（通过 WASM + WebGPU 在浏览器/Electron 中运行 ASR/翻译/TTS）。
3. 处理 – ASR 生成文本，翻译模型进行转换，TTS 模型合成目标语言的语音。
4. 输出 – 合成的音频发送到虚拟麦克风，以便 Zoom、Teams、Meet、Discord 等播放翻译后的声音；字幕可以显示或共享在屏幕上。

---

快速开始

目标	安装步骤
桌面应用	从 Releases 页面下载相应的安装程序（Windows .exe、macOS .pkg、Linux .deb）。运行安装程序并启动 Sokuji。
浏览器扩展	从 Chrome Web Store 或 Microsoft Edge Add-ons 添加，或在开发者模式下加载压缩的扩展（参见 README）。
从源码构建	```bash
git clone https://github.com/kizuna-ai-lab/sokuji.git
cd sokuji && npm install
npm run electron:dev # dev mode
npm run electron:build # production build

---
### 典型用例
1. 打开 Sokuji 并设置*语言 A*（例如，日语）和*语言 B*（例如，英语）。  
2. 在 Zoom、Teams、Google Meet、Discord 等开始会议。  
3. 用您的母语说话；Sokuji 检测语言，进行翻译，并将翻译后的声音流回会议。  
4. 另一位参与者听到您就像在说他们的语言一样，而您听到他们的语音被翻译成您的语言 – 全部实时进行。

---
### 许可证与社区
- **许可证:** AGPL-3.0（分发时源代码必须保持开放）。  
- **贡献:** 提供了指南；项目欢迎拉取请求和错误报告。  
- **支持:** GitHub 上的 Issues，用于想法的 Discussions，以及为 Windows 构建提供免费代码签名的赞助商（SignPath）。

---
### 摘要
Sokuji 是一个即开即用、隐私优先的实时双语会议解决方案。它可以利用大量的本地语音模型完全离线运行，也可以接入主要的云 AI 服务。安装桌面应用或浏览器扩展，选择您的两种语言，让工具处理跨 Zoom、Teams、Meet、Discord 及许多其他平台的实时翻译、字幕和虚拟麦克风路由。