kizuna-ai-lab/sokuji

Real-time two-way speech translation for bilingual meetings — auto-detects the spoken language and translates both directions, cloud or fully offline on-device. Desktop (Windows · macOS · Linux) + browser extension (Chrome · Edge) for Zoom, Meet, Teams & any app.

解决的问题

Sokuji 为双语会议提供实时双向语音翻译，消除实时对话中的语言障碍。无论使用何种平台（例如 Zoom、Teams、Discord），用户都可以翻译自己的声音让他人听到，并将其他参与者的音频转换为字幕或语音。

工作原理

Sokuji 从麦克风和系统音频中采集音频，然后通过自动语音识别 (ASR)、翻译和文本转语音 (TTS) 的流水线进行处理。用户可以在两种处理模式之间进行选择：

  • Cloud Mode：直接连接到 OpenAI、Google Gemini 和 Soniox 等提供商，实现高性能翻译。
  • Local Inference：使用 WASM 和 WebGPU（通过 sherpa-onnx 和 Transformers.js）在设备上运行所有操作，无需 API 密钥、互联网连接或专用 GPU。

适用人群

专为参加双语会议的人士、游戏玩家或任何需要在不同应用程序之间进行实时翻译的人士设计。它提供适用于所有主要操作系统的桌面应用，以及适用于基于 Web 的会议平台的浏览器扩展程序。

亮点

  • 双向翻译：自动检测说话者语言并同时进行双向翻译。
  • 隐私优先的本地 AI：在设备上完全离线进行 ASR、翻译和 TTS 处理。
  • 广泛的兼容性：通过虚拟麦克风（桌面端）或直接在浏览器中（扩展程序）与任何应用协同工作。
  • 广泛的模型支持：可访问 50 多种 ASR 模型、55 多种翻译对和 136 种 TTS 语音。
  • AI 音频工具：内置降噪和回声消除功能。