OpenMOSS/MOSS-Transcribe-Diarize

解决的问题

MOSS-Transcribe-Diarize 旨在将长篇、多说话人的音频录音（例如会议、播客和访谈）转换为结构化转录稿。它通过在单次处理中同时执行两项任务，消除了拼接单独自动语音识别（ASR）和说话人分离系统的需求。

运作方式

该模型使用结合 Whisper-Medium 音频编码器和 Qwen3-0.6B 风格因果解码器的端到端架构。它将原始音频以30秒为区块进行处理，使用时间合并和 MLP 适配器将音频特征桥接到文本主干。然后，模型生成紧凑的转录稿，其中每个片段都标有开始/结束时间戳和说话人标签（例如 [S01]、[S02]）。

适用对象

它适用于处理音频内容的开发人员和研究人员，特别是那些需要对50多种语言的长篇、杂乱录音进行可靠转录和说话人识别的人。

亮点

• 端到端处理：在一次处理中完成转录、说话人分离和时间戳记。
• 高性能：在各种字符错误率（CER）客观基准上优于多个专有模型（如 GPT-4o 和 Gemini）。
• 灵活部署：支持通过 SGLang Omni、vLLM 部署，并可集成 FunASR 生态系统。
• 字幕工具：包含一个网页应用程序，用于上传音频/视频、查看片段，并以 JSON、SRT 或 ASS 格式导出字幕。
• 可定制：支持自定义提示词和热词，以提高特定术语的转录准确性。