TheDeathDragon/LiveTranslate

해결하는 문제

LiveTranslate는 Windows 사용자를 위한 실시간 오디오 번역 도구로, 비디오, 라이브스트리밍, 음성 채팅과 같은 시스템 오디오와 마이크 입력을 실시간으로 번역하여 LLM 기반 오버레이를 통해 라이브 자막을 제공합니다.

작동 방식

이 애플리케이션은 WASAPI 루프백을 통해 시스템 오디오를 캡처하고, 선택적으로 마이크 입력도 처리합니다. 이후 Silero를 사용한 음성 활동 탐지(VAD), faster-whisper 또는 SenseVoice와 같은 엔진을 통한 자동 음성 인식(ASR), 그리고 OpenAI 호환 LLM API를 통한 번역으로 구성된 파이프라인을 거칩니다. 최종 번역 결과는 화면에 항상 위에 표시되는 투명한 오버레이로 표시됩니다.

대상 사용자

컴퓨터에서 오는 모든 소스의 외국어 오디오에 실시간 자막이 필요한 Windows 사용자에게 적합합니다. 게이머, 국제 라이브스트리밍 시청자, 음성 채팅 사용자 등이 해당됩니다.

주요 특징

• 다양한 ASR 지원: faster-whisper, SenseVoice, FunASR Nano, Anime-Whisper 등 여러 엔진과 호환.
• 유연한 번역: DeepSeek, GPT, Ollama, vLLM 등 OpenAI 호환 API와 함께 작동 가능.
• 저지연: 32ms 오디오 청크와 적응형 무음 탐지로 빠른 처리를 구현.
• 사용자 정의 오버레이: 클릭 투과 및 드래그 가능한 투명 오버레이로 14가지 색상 테마 제공.
• 하드웨어 가속: CUDA를 지원하여 GPU 기반 ASR 추론 가속화.
• 원격 오프로딩: HTTP를 통해 별도의 GPU 머신에 ASR 작업을 위임 가능.