kizuna-ai-lab/sokuji

해결하는 문제

Sokuji는 Zoom, Teams, Discord와 같은 다양한 플랫폼에서 서로 다른 언어를 사용하는 사람들이 원활하게 소통할 수 있도록 실시간 양방향 음성 번역을 제공합니다. 라이브 자막과 번역된 오디오 출력을 통해 언어 장벽을 제거합니다.

작동 방식

앱은 마이크와 시스템 오디오에서 오디오를 캡처한 후, 번역 파이프라인(음성 인식 → 번역 → 텍스트 음성 변환)을 통해 처리합니다. 사용자는 다음 두 가지 처리 모드 중 하나를 선택할 수 있습니다:

• 클라우드 모드: OpenAI, Google Gemini, Soniox와 같은 제공업체에 직접 연결하여 고성능 번역을 제공합니다.
• 로컬 추론: sherpa-onnx와 Transformers.js를 통해 WASM 및 WebGPU를 사용하여 모든 작업을 디바이스 내에서 실행하며, API 키, 인터넷 연결, 전용 GPU가 필요 없습니다.

대상 사용자

다국어 회의에 참여하는 전문가 및 개인, 게이머, 또는 어떤 데스크톱 앱이나 웹 기반 회의 플랫폼에서 자신의 목소리나 다른 참가자의 오디오를 실시간으로 번역이 필요한 모든 사람에게 적합합니다.

주요 기능

• 양방향 번역: 스피커의 언어를 자동 감지하고 양방향으로 동시에 번역합니다.
• 하이브리드 처리: 클라우드 기반 API와 완전히 오프라인의 로컬 추론을 모두 지원하여 최대한의 프라이버시를 보장합니다.
• 크로스 플랫폼: 데스크톱 앱(Windows, macOS, Linux)과 브라우저 확장 프로그램(Chrome, Edge)으로 제공됩니다.
• 풍부한 모델 지원: Whisper와 Qwen을 포함한 수십 가지 ASR, 번역, TTS 모델을 로컬에서 사용할 수 있습니다.
• 오디오 도구: AI 노이즈 제거, 에코 제거, 가상 마이크를 포함하여 번역된 오디오를 다른 앱으로 라우팅할 수 있습니다.