magenta/mt3
MT3: Multi-Task Multitrack Music Transcription
해결하는 문제
음악 녹음을 자동으로 악보로 전사하는 방법을 제공하며, 단일 악기(피아노) 및 다중 악기 녹음을 모두 지원합니다.
작동 원리
MT3는 T5X 프레임워크를 사용하여 다중 작업 멀티트랙 음악 전사 모델을 구현합니다. 사용자는 사전 학습된 체크포인트(피아노 전용 모델 또는 다중 악기 모델)를 적용하여 오디오 파일을 전사 데이터로 변환할 수 있습니다.
대상 사용자
음악 녹음을 디지털 악보로 변환해야 하는 음악가, 연구원 및 개발자.
주요 특징
- 다중 악기 지원: 여러 악기를 동시에 처리할 수 있습니다.
- 사전 학습된 체크포인트: ISMIR 2021 및 ICLR 2022 연구 논문을 기반으로 한 모델이 포함되어 있습니다.
- Colab 통합: 개인 오디오 파일을 쉽게 테스트하고 전사할 수 있는 노트북을 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트