pyannote/pyannote-audio

해결하는 문제

음성 녹음 파일을 세그먼트로 나누고 누가 언제 말했는지 식별하는 '누가 언제 말했는가' 문제를 해결하기 위한 툴킷을 제공합니다.

작동 방식

PyTorch 및 PyTorch Lightning 기반으로 구축되었으며, Hugging Face를 통해 사전 학습된 모델과 파이프라인을 제공합니다. 로컬 실행(예: community-1과 같은 오픈소스 파이프라인 사용)과 pyannoteAI 프리미엄 서비스(precision-2)를 통한 클라우드 기반 실행을 모두 지원합니다. 사용자는 자체 데이터로 이러한 모델을 미세 조정하여 특정 사용 사례에서 성능을 향상시킬 수 있습니다.

대상 사용자

음성 데이터를 다루며 녹음 파일 내에서 다양한 화자를 정확히 식별하고 분리해야 하는 개발자 및 연구자.

주요 특징

• 최첨단 성능: AISHELL-4, AMI, VoxConverse 등 다양한 벤치마크에서 높은 정확도를 제공합니다.
• 유연한 배포: GPU에서 로컬 실행 또는 API 기반 프리미엄 서비스를 지원합니다.
• 사전 학습된 자산: Hugging Face 모델 허브를 통해 모델과 파이프라인에 쉽게 접근할 수 있습니다.
• 확장성: 사용자 정의 데이터셋을 위한 멀티 GPU 학습 및 미세 조정을 지원합니다.