kizuna-ai-lab/sokuji

Real-time two-way speech translation for bilingual meetings — auto-detects the spoken language and translates both directions, cloud or fully offline on-device. Desktop (Windows · macOS · Linux) + browser extension (Chrome · Edge) for Zoom, Meet, Teams & any app.

해결하는 문제

Sokuji는 이중 언어 회의를 위한 실시간 양방향 음성 번역을 제공하여 라이브 대화에서의 언어 장벽을 제거합니다. 사용 중인 플랫폼(예: Zoom, Teams, Discord)에 관계없이 자신의 목소리를 번역하여 상대방에게 들려주거나, 다른 참가자의 오디오를 자막 또는 음성으로 번역할 수 있습니다.

작동 방식

Sokuji는 마이크와 시스템 오디오에서 오디오를 캡처한 다음 자동 음성 인식(ASR), 번역 및 텍스트 음성 변환(TTS) 파이프라인을 통해 처리합니다. 사용자는 두 가지 처리 모드 중 하나를 선택할 수 있습니다:

Cloud Mode: OpenAI, Google Gemini, Soniox와 같은 제공업체에 직접 연결하여 고성능 번역을 제공합니다.
Local Inference: WASM 및 WebGPU(sherpa-onnx 및 Transformers.js를 통해)를 사용하여 장치에서 모든 것을 실행하므로 API 키, 인터넷 연결 또는 전용 GPU가 필요하지 않습니다.

대상 사용자

이중 언어 회의에 참여하는 사람, 게이머 또는 다양한 애플리케이션에서 실시간 번역이 필요한 모든 사람을 위해 설계되었습니다. 모든 주요 운영 체제를 위한 데스크톱 앱과 웹 기반 회의 플랫폼을 위한 브라우저 확장 프로그램으로 제공됩니다.

주요 특징

양방향 번역: 화자의 언어를 자동 감지하고 양방향으로 동시에 번역합니다.
개인정보 보호 우선 로컬 AI: ASR, 번역 및 TTS를 장치에서 완전히 오프라인으로 처리합니다.
폭넓은 호환성: 가상 마이크(데스크톱) 또는 브라우저에서 직접(확장 프로그램) 모든 앱과 함께 작동합니다。
광범위한 모델 지원: 50개 이상의 ASR 모델, 55개 이상의 번역 쌍, 136개의 TTS 음성을 지원합니다.
AI 오디오 도구: 노이즈 억제 및 에코 캔슬링 기능이 포함되어 있습니다.