kizuna-ai-lab/sokuji

解决的问题

Sokuji 为双语会议提供实时双向语音翻译，使使用不同语言的人们能够在 Zoom、Teams 和 Discord 等各种平台上无缝沟通。通过提供实时字幕和翻译后的音频输出，消除语言障碍。

工作原理

该应用从麦克风和系统音频捕获音频，然后通过翻译流水线（自动语音识别 → 翻译 → 文本转语音）进行处理。用户可以选择两种处理模式：

• 云模式：直接连接 OpenAI、Google Gemini 和 Soniox 等提供商，实现高性能翻译。
• 本地推理：使用 WASM 和 WebGPU（通过 sherpa-onnx 和 Transformers.js）在设备上运行所有内容，无需 API 密钥、无需互联网连接，也无需专用 GPU。

适用人群

专为参与多语言会议的专业人士和个体用户、游戏玩家，或任何需要在桌面应用或基于网页的会议平台中实时翻译自己声音或他人音频的人设计。

主要亮点

• 双向翻译：自动检测说话人语言，并同时双向翻译。
• 混合处理：支持基于云的 API 和完全离线的本地推理，以最大程度保障隐私。
• 跨平台：提供桌面应用（Windows、macOS、Linux）和浏览器扩展（Chrome、Edge）。
• 广泛模型支持：本地支持数十种 ASR、翻译和 TTS 模型，包括 Whisper 和 Qwen。
• 音频工具：包含 AI 噪声抑制、回声消除和虚拟麦克风，可将翻译后的音频路由到其他应用程序。