BUTSpeechFIT/DiariZen

解决的问题

DiariZen 是一个用于说话人日志（speaker diarization）的工具包——即确定音频录制中“谁在何时说话”的过程。其目标是在无需针对特定环境进行领域自适应的情况下，在各种数据集上提供高精度的说话人日志功能。

工作原理

该工具包由 AudioZen 和 Pyannote 3.1 驱动。它利用自监督学习 (SSL) 和结构化剪枝来创建紧凑且准确的模型。该系统通过可以与 Hugging Face 预训练模型集成的流水线，支持训练、剪枝和推理。

适用对象

需要高效、通用的话者日志系统的语音处理、音频分析和自动转录服务领域的研发人员。

亮点

• 高性能：在包括 AMI-SDM、AliMeeting 和 VoxConverse 在内的多个基准测试中，表现优于 Pyannote v3.1。
• 模型压缩：包含结构化剪枝方案，在保持准确性的同时去除冗余参数。
• 易于使用：提供简单的 Python API 用于推理，并支持以 RTTM 格式保存结果。
• 广泛支持：最近已更新以支持多通道 WavLM，从而提高说话人日志的准确性。