franklioxygen/v2s

해결하는 문제

v2s는 회의, 통화, 스트리밍, 비디오 시청 중 macOS 사용자에게 실시간 이중 언어 자막을 제공합니다. 브라우저 탭 전환이나 전체 화면 자막 앱 사용이 필요 없이, 화면에 깔끔한 두 줄의 자막 바를 직접 오버레이함으로써, 한 언어로 말하는 내용을 듣고 동시에 다른 언어로 번역된 내용을 읽을 수 있습니다.

작동 방식

앱은 사용자의 마이크 또는 특정 macOS 애플리케이션에서 오는 오디오를 캡처합니다. 음성 인식에는 Apple의 Speech 프레임워크(온디바이스 인식을 우선시)를 사용하고, 번역에는 Apple Translation을 사용합니다. 요약 기능은 Apple Intelligence 또는 온디바이스 추출 요약 백업을 활용합니다. 음성 활동 감지는 Apple의 Core ML 프레임워크를 통해 실행되는 Silero VAD 모델이 처리합니다.

대상 사용자

비디오 통화나 스트리밍과 같은 실시간 오디오 소스의 실시간 번역과 음성 인식이 필요한 사용자로, 작업 공간을 떠나지 않고도 사용할 수 있습니다.

주요 기능

• 이중 언어 오버레이: 첫 번째 줄에 번역된 텍스트, 두 번째 줄에 원본 텍스트 표시.
• 유연한 오디오 입력: 특정 앱 또는 마이크에서 오디오를 캡처 가능.
• 개인정보 중심: 클라우드 백엔드 없음, 텔레메트리 없음, 온디바이스 처리를 우선시.
• 메뉴바 통합: 빠른 접근이 가능한 가벼운 메뉴바 앱으로 작동.
• 자동 언어 지원: OS 및 모델 업데이트에 따라 동적으로 지원 언어를 감지.