meizhong986/WhisperJAV
ASR/STT subtitle generator. Uses Qwen3-ASR, local LLM, Whisper, TEN-VAD. Noise-robust for JAV
해결하는 문제
WhisperJAV는 일본 성인 비디오(JAV)를 위해 특별히 설계된 자막 생성기입니다. 이 도구는 낮은 신호 대 잡음비, 잦은 비언어적 발성(신음, 헐떡임), 극단적인 볼륨 변화, 그리고 모호한 오디오나 침묵이 긴 구간에서 모델이 텍스트를 환각(hallucination)하는 경향 등 이 장르의 독특한 음향적 특성을 다룰 때 범용 음성 인식 모델(예: Whisper)이 겪는 일반적인 실패 사례들을 해결합니다.
작동 원리
이 프로젝트는 단일 모델에 의존하는 대신, 전사 과정을 강화하기 위해 다단계 파이프라인을 구현합니다:
- 장면 기반 세분화: 모델이 일관된 환경을 처리할 수 있도록 자연스러운 음향 경계에서 오디오를 분할합니다.
- VAD (음성 활동 감지) 클램핑: 실제 음성을 감지하고 해당 세그먼트만 모델에 전달하여 비음성 오디오에서 발생하는 환각을 방지합니다.
- 음성 향상 (선택 사항): VAD를 위해 오디오를 특별히 정제할 수 있으며, 실제 전사 시에는 필요한 고주파 세부 정보가 손실되지 않도록 원본 오디오를 유지합니다.
- ASR 모델: Faster-Whisper, OpenAI Whisper, Qwen3-ASR, anime-whisper 등 다양한 엔진을 지원합니다.
- 후처리: 종결 어미를 기반으로 한 문장 재그룹화, 소리만 있는 라인(예: 단순 신음) 제거, 타이밍 수정 등 일본어 특화 정제 작업을 적용합니다.
- 앙상블 모드: 두 개의 서로 다른 파이프라인(다른 모델 및 VAD)을 실행하고 결과를 병합하여 단일 모델이 놓칠 수 있는 부분을 보완합니다.
대상 사용자
성인 콘텐츠를 위한 고품질 일본어 자막이 필요하며, 클라우드 업로드를 피하여 개인정보를 보호할 수 있는 무료 로컬 솔루션을 원하는 사용자.
주요 특징
- 로컬 실행: GUI 또는 CLI를 통해 사용자 자신의 컴퓨터에서 실행됩니다.
- ChronosJAV: 텍스트 생성과 타이밍을 분리한 설계로, Qwen3-ASR과 같은 최신 인식기를 사용할 수 있습니다.
- 2단계 앙상블: 여러 모델의 결과를 병합하여 커버리지를 높입니다.
- 일본어 인식 필터링: 대상 도메인에서 흔히 발생하는 일본어 대화와 비언어적 소리의 뉘앙스를 처리하도록 특별히 조정되었습니다.
- 유연한 파이프라인: 장면 감지, 음성 향상, VAD 제공자를 자유롭게 조합할 수 있습니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트