Sharrnah/whispering-ui

해결하는 문제

Whispering Tiger UI는 로컬 AI 기반 음성 인식, 번역, 음성 합성에 사용하기 위한 사용자 친화적인 데스크톱 인터페이스를 제공합니다. 명령줄 도구의 필요성을 제거하여 마이크 또는 데스크톱 오디오 스트림과 이미지(OCR)를 로컬 및 오프라인으로 처리할 수 있게 하며, OSC를 통한 VRChat 또는 WebSockets를 통한 브라우저 오버레이와 같은 외부 출력과의 통합도 가능합니다.

작동 방식

이 프로젝트는 Go/Fyne 기반의 네이티브 UI와 Python 백엔드를 연결합니다. CPU, NVIDIA CUDA, AMD 및 Intel 하드웨어용 Vulkan(audio.cpp를 통해) 등 다양한 컴퓨팅 장치를 지원합니다. 사용자는 오디오 입력/출력 장치 설정, AI 모델 및 정밀도 선택, 기능 확장을 위한 플러그인 관리를 위한 프로필을 생성할 수 있습니다.

대상 사용자

자신의 목소리 또는 시스템 오디오의 실시간 번역 및 인식이 필요한 Windows 및 Linux 사용자, 그리고 VRChat과 같은 가상 환경에 AI 오디오 도구를 통합하고자 하는 사용자.

주요 특징

• 로컬 처리: 초기 다운로드 후 AI 모델은 로컬에서 오프라인으로 실행됩니다.
• 다중 하드웨어 지원: NVIDIA CUDA, AMD, Intel, Vulkan과 호환됩니다.
• 다양한 오디오 캡처: Windows에서는 WASAPI 루프백, Linux에서는 PulseAudio/PipeWire를 지원하여 데스크톱 오디오 캡처가 가능합니다.
• 확장성: 감정 예측, RVC(검색 기반 음성 변환), LLM 통합 등의 기능을 플러그인 시스템으로 추가할 수 있습니다.
• 통합 OCR: 게임 내 이미지에서 텍스트를 인식하고 번역할 수 있습니다.