jasoncheng7115/jt-live-whisper

100% 全地端 AI 語音工具箱：即時轉錄、即時翻譯、錄音檔批次處理、講者辨識、會議摘要，所有 AI 模型皆在自有設備上運行，資料不經過任何雲端服務。

jt‑live‑whisper – 로컬 AI 음성 도구 상자

기능 설명 – 단일 머신(또는 머신 + GPU 서버) 애플리케이션으로, 시스템 오디오를 캡처하고, 음성-텍스트 변환, 선택적 화자 분리, 텍스트 번역, 회의 요약을 수행합니다 – 모든 모델은 사용자 자신의 하드웨어에서 실행됩니다. 클라우드 API가 필요 없습니다.

핵심 기능

기능	작동 방식(README에 설명됨)
실시간 전사 및 번역	ScreenCaptureKit(macOS), WASAPI Loopback(Windows) 또는 PipeWire/PulseAudio 모니터(Linux)를 통해 시스템 오디오를 캡처합니다. 오디오는 온디바이스 ASR 모델(Whisper, Breeze‑ASR‑26, Moonshine, Qwen3‑ASR)에 공급되며, 결과 텍스트는 로컬 LLM(Ollama, LM Studio 등) 또는 오프라인 NLLB/Argos 모델로 번역됩니다.
오디오 파일 배치 처리	mp3, wav, m4a, flac을 지원합니다. `faster‑whisper`(또는 다른 엔진)를 사용하여 오프라인 전사 및 번역을 수행합니다.
화자 분리	`resemblyzer + spectralcluster` 또는 NVIDIA의 Nemotron 3 Diarization 모델(v2.26.0부터 기본값)을 사용합니다.
회의 요약	대본을 로컬 LLM(기본값 `qwen3.8:27b`)에 보내 결정 사항, 실행 항목, 위험, 타임라인, 화자 통계 등을 추출합니다.
다국어 지원	ASR: 중국어, 일본어, 한국어, 영어, 대만어(Breeze‑ASR‑26). 번역: NLLB 600M으로 중국어↔일본어↔한국어↔영어; 영어↔중국어는 Argos를 대체로 사용.
양방향 자막 모드	원격 화자의 언어를 중국어로 번역하고 동시에 로컬 화자의 중국어를 원격 언어로 번역합니다(en‑zh, ja‑zh, ko‑zh).
오버레이 및 전달	선택적 반투명 자막 오버레이(PyQt6), 키워드 트리거 알림, 라이브 자막을 Telegram, Slack, Discord, Teams, LINE 등으로 전달.
웹 UI	브라우저 기반 인터페이스(`./start.sh --webui`)로 모든 기능을 노출하고 진행 상황을 표시하며, 휴대폰이나 태블릿에서 도구를 실행할 수 있습니다.

아키텍처 및 모델 스택

ASR 엔진: whisper.cpp(ggml, macOS), faster‑whisper(CTranslate2, Windows/Linux, GPU), mlx‑whisper(Apple Silicon), Moonshine(초저지연 영어), vLLM / mlx‑audio / transformers(실험적 Qwen3‑ASR).
번역: 로컬 LLM 서버(번역 기본값 gemma4:26b, 요약 기본값 qwen3.8:27b)를 Ollama, LM Studio, vLLM 등을 통해 접근; 대체로 오프라인 NLLB 600M 또는 Argos.
화자 분리: resemblyzer + spectralcluster(오픈 소스) 또는 NVIDIA Nemotron 3 Diarization(OpenMDW‑1.1, 토큰 불필요).
배포 모드:
1. 단일 머신 – 모든 것이 동일한 PC에서 실행(CPU, Apple‑Silicon GPU 또는 NVIDIA GPU).
2. 클라이언트 + GPU 서버 – 노트북에서 오디오 캡처, 무거운 ASR/분리는 LAN 내 GPU 서버에서 실행.
3. 헤드리스 서버 – Linux 박스가 웹 UI를 노출; 다른 기기가 오디오를 업로드하여 처리.

시작하기(README 단계 요약)

원클릭 설치 – 제공된 install.sh(macOS/Linux) 또는 install.ps1(Windows)을 실행합니다. 스크립트는 Python 3.12 가상 환경을 만들고, 시스템 종속성을 설치하고, 필요한 모델을 다운로드합니다(최소 약 3GB, 권장 약 8GB).
오디오 소스 설정 – macOS는 ScreenCaptureKit(드라이버 불필요) 또는 선택적 BlackHole 사용; Windows는 WASAPI Loopback; Linux는 기본 모니터 소스 사용.
선택적 LLM 서버 – Ollama(또는 호환되는 로컬 LLM 서버)를 설치하고 gemma4:26b(번역) 및 qwen3.8:27b(요약)을 풀합니다.
실행 – ./start.sh(또는 PowerShell 해당 명령)로 대화형 메뉴가 표시되거나 --webui로 웹 UI를 시작합니다.
모드 선택 – 실시간, 배치, 분리, 요약, 양방향 자막 등.

대상 사용자

프라이버시를 중시하는 전문가: 회의의 라이브 자막이나 대본이 필요하지만 클라우드 서비스에 데이터를 보내고 싶지 않은 분.
연구자 또는 개발자: 온디바이스 LLM 기반 번역 및 요약을 실험하는 분.
다국어 팀: Zoom/Teams/YouTube용 즉시 자막을 원하면서 모든 것을 로컬로 유지하려는 분.
최신 Mac(Apple Silicon), NVIDIA GPU가 장착된 Windows PC 또는 Linux 워크스테이션을 보유한 분: 모델용으로 몇 GB의 저장 공간을 할당할 수 있는 분.

제한 사항 및 참고 사항

실시간 번역 속도는 하드웨어와 선택한 모델에 따라 다릅니다. Apple Silicon에서 최대 약 1‑3초, NVIDIA GPU에서 약 0.3‑0.5초 지연.
요약에는 상당히 큰 LLM(≥ 27B 매개변수)이 필요하므로 성능이 좋은 GPU 또는 전용 서버가 필요합니다.
일부 기능(예: Moonshine, Qwen3‑ASR)은 실험적으로 표시되어 있으며 모든 플랫폼에서 사용하지 못할 수 있습니다.
이 도구는 헤드리스 Linux에서 실시간 캡처를 지원하지 않습니다. 데스크톱 세션이 필요합니다.

결론

jt‑live‑whisper는 최첨단 음성-텍스트, 번역, 분리 및 회의 요약 모델을 완전히 오프라인 워크플로우에 통합한 진정한 오픈 소스 프로젝트입니다. 정확하고 저지연의 자막과 대본이 필요하면서 데이터를 온프레미스로 유지하려는 사용자를 대상으로 합니다.