OpenMOSS/MOSS-Transcribe-Diarize

해결하는 문제

MOSS-Transcribe-Diarize는 회의, 팟캐스트, 인터뷰와 같은 장시간 다중 화자 오디오 녹음을 구조화된 전사본으로 변환하도록 설계되었습니다. 자동 음성 인식(ASR)과 화자 분리 시스템을 따로 연결할 필요 없이 두 작업을 단일 패스에서 동시에 수행합니다.

작동 방식

이 모델은 Whisper-Medium 오디오 인코더와 Qwen3-0.6B 스타일의 인과 디코더를 결합한 엔드투엔드 아키텍처를 사용합니다. 원시 오디오를 30초 청크로 처리하고, 시간적 병합과 MLP 어댑터를 사용하여 오디오 특징을 텍스트 백본에 연결합니다. 그런 다음 모델은 각 세그먼트에 시작/종료 타임스탬프와 화자 레이블(예: [S01], [S02])이 표시된 간결한 전사본을 생성합니다.

대상 사용자

오디오 콘텐츠를 다루는 개발자와 연구자를 대상으로 하며, 특히 50개 이상의 언어로 된 길고 복잡한 녹음에 대해 신뢰할 수 있는 전사와 화자 식별이 필요한 사람들을 위한 것입니다.

주요 특징

• 엔드투엔드 처리: 전사, 화자 분리, 타임스탬프를 한 번에 수행합니다.
• 높은 성능: 문자 오류율(CER)에 대한 다양한 객관적 벤치마크에서 GPT-4o 및 Gemini와 같은 여러 독점 모델을 능가합니다.
• 유연한 배포: SGLang Omni, vLLM을 통한 배포와 FunASR 생태계 통합을 지원합니다.
• 자막 도구: 오디오/비디오 업로드, 세그먼트 검토, JSON, SRT 또는 ASS 형식으로 자막 내보내기가 가능한 웹 앱이 포함되어 있습니다.
• 사용자 정의 가능: 특정 용어의 전사 정확도를 높이기 위한 사용자 정의 프롬프트와 핫워드를 지원합니다.