peteonrails/voxtype

Voxtype – Linux 데스크톱용 로컬, 실시간 음성-텍스트 변환

무엇인가요 – Voxtype는 오픈소스이며 MIT 라이선스를 따르는 애플리케이션으로, 리눅스 데스크톱 어디서든 텍스트를 음성으로 입력할 수 있게 해줍니다. 핫키를 누르거나 토글할 때 오디오를 캡처하고, 로컬에서 음성-텍스트 모델을 실행한 후 커서 위치에 결과 텍스트를 삽입합니다. 핵심 목표는 클라우드 서비스 없이도 빠르고 개인 정보를 보호하는 음성 입력입니다.

주요 기능

• 빠른 CPU 추론 – 현대적인 Zen 4 CPU에서 실시간보다 9~11배 빠르게 작동하는 Cohere Transcribe (약 1.5GB로 양자화됨)를 사용합니다. Whisper, Parakeet, Moonshine, SenseVoice, Paraformer, Dolphin, Omnilingual, OpenVINO Whisper 등 다른 엔진도 지원됩니다.
• GPU/가속기 지원 – 선택적 Vulkan, CUDA, Metal, ROCm, Intel OpenVINO/NPU 백엔드를 통해 대규모 모델의 처리 속도를 수배 단위로 향상시킵니다.
• 아홉 가지 교환 가능한 엔진 – 런타임 중에 전환 가능하며, 메모리에 차지하는 것은 오직 활성화된 모델만입니다.
• 다국어 지원 – 다국어 ONNX 엔진을 통해 최대 1,600개 이상의 언어를 지원하며, Whisper는 99개 언어를 커버합니다.
• 회의 모드 – 연속적인 음성 인식을 제공하며, 발화자 식별과 함께 마크다운, JSON, SRT, VTT 형식으로 내보낼 수 있습니다. 또한 로컬 LLM(예: Ollama)을 호출해 회의 요약도 가능합니다.
• 네이티브 데스크톱 통합 – Wayland 컴포지터(Hyprland, Sway, River, GNOME, KDE)와 X11(evdev를 통해)에서 작동하며, 부유형 파형 OSD, MPRIS를 통한 미디어 플레이어 자동 일시정지, 필요 시 클립보드 또는 시뮬레이션 타이핑으로 대체됩니다.
• 개인정보 우선 – 추적 데이터 없음, 필수 클라우드 백엔드 없음. 사용자가 명시적으로 원하지 않는 한 모든 처리는 기계 내부에서 이루어집니다.
• 사용자 정의 핫키 – 기본값은 ScrollLock이며, 변경하거나 토글 모드로 설정하거나 컴포지터를 통해 바인딩할 수 있습니다.
• 내장 텍스트 처리 – 음성 기반 구두점, 사용자별 대체 테이블, 그리고 외부 LLM 또는 쉘 스크립트로의 선택적 후처리 파이프를 제공합니다.

시작하기

1. 미리 빌드된 패키지(AUR, .deb, .rpm, Homebrew)를 설치하거나 Rust/Cargo로 소스에서 빌드합니다.
2. Wayland 타이핑 헬퍼 wtype를 설치하거나(X11의 경우 dotool/ydotool 대체)
3. voxtype setup --download를 실행하여 기본 Whisper 모델을 다운로드합니다.
4. 컴포지터 설정에서 voxtype record start/stop (또는 toggle)에 키바인딩을 추가합니다.
5. voxtype를 실행하고 핫키를 누르고 말한 후 해제하면, 커서 위치에 인식된 텍스트가 나타납니다.

일반 명령어

• voxtype record start / voxtype record stop – 키바인딩을 통해 녹음 제어
• voxtype meeting start --title "Team sync" – 연속 인식 시작
• voxtype meeting export latest --format markdown – 회의 내용 저장
• voxtype --engine sensevoice --model large-v3 – 런타임 중 엔진/모델 재정의
• voxtype setup gpu --enable – Vulkan GPU 가속 활성화

설정 – 모든 설정은 ~/.config/voxtype/config.toml에 있습니다. 이 파일을 통해:

• 핫키, 모드(누르기 vs. 토글), 오디오 장치 선택 가능
• 인식 엔진과 모델 선택, 언어/번역 옵션 설정, CPU 스레드 제한 가능
• 출력 동작(타이핑, 클립보드, 붙여넣기) 및 알림 설정 가능
• 음성 구두점, 사용자 정의 단어 대체, 외부 후처리 명령어(예: ollama run llama3.2 …) 활성화 가능

설치 참고사항

• 의존성 – Rust 툴체인, ALSA 개발 헤더, clang, cmake, pkg-config, Wayland 타이핑 도구 wtype. GPU 백엔드는 적절한 런타임(Vulkan 로더, CUDA 툴킷, Metal, ROCm, OpenVINO)이 필요합니다.
• 패키지 – AUR (voxtype, voxtype-bin, voxtype-bin-rc), Debian/Ubuntu .deb, RPM, macOS용 Homebrew(Metal 백엔드를 통해)
• 재현 가능한 빌드 – 릴리스 바이너리는 서명되어 있으며 Docker 파이프라인에서 생성됩니다.

왜 중요한가요 Voxtype는 이전에 클라우드 서비스나 무거운 GUI 도구에 의존했던 리눅스 사용자에게 음성 입력의 편의성을 제공합니다. 여러 장치 내 모델과 선택적 GPU 가속을 통해 속도, 정확도, 자원 사용량을 균형 있게 조절하면서도 모든 발화 내용을 개인적으로 보호할 수 있습니다.

라이선스 – MIT (소스 코드는 자유롭게 수정 및 배포 가능)