MuScriptor: 오픈 소스 오디오-to-MIDI 전사 모델

MuScriptor 개요

MuScriptor는 Kyutai와 Mirelo의 협업으로 개발된 오픈 소스 멀티 악기 오디오-to-MIDI 전사 모델입니다. 이 모델은 팝, 클래식, 메탈, 재즈와 같은 장르에 관계없이 오디오 녹음 파일을 MIDI 노트로 변환합니다. MuScriptor의 주요 기술적 장점은 사용자가 녹음된 파일에 포함된 악기를 사전에 지정할 필요 없이 전사를 수행할 수 있다는 점입니다.

기술적 역량 및 성능

MuScriptor는 기존의 스펙트럼 분석 도구보다 뛰어난 고충실도 오디오-to-MIDI 변환을 제공합니다. 사용자들은 삼화음 형태를 기반으로 한 복잡한 기타 리프나, 기존 전사 소프트웨어가 처리하기 어려운 Linkin Park의 "In the End" 인트로와 같은 상징적인 곡의 도입부를 전사할 때 높은 정확도를 보고했습니다.

"이것은 제 귀에 1:1로 들리는 것과 같은 전사 결과를 만들어냈습니다. 제가 음악을 배우는 데 사용하는 도구들처럼 이 도구를 사용할 수 있을 것 같습니다."

구현 및 공개 인스턴스

Kyutai 공식 블로그와 공식 소스 코드를 포함하여 MuScriptor 모델에 접근할 수 있는 여러 방법이 있습니다. pianoify.net과 같은 커뮤니티 주도 구현체는 사용자가 MP3, WAV, M4A 또는 FLAC 파일(최대 10분)을 업로드하거나 YouTube 링크를 제공할 수 있는 간소화된 웹 인터페이스를 제공합니다.

일부 공개 인스턴스는 전사를 위해 오디오를 10초로 자르는 것과 같은 특정 제약을 가질 수 있으며, 일부 사용자들은 이를 공식 모델의 기능과 비교했을 때 제한적인 요소로 언급했습니다.

소스 코드 및 가용성

MuScriptor는 오픈 소스이므로 개발자들이 이 모델을 음악 이론 분석 도구 또는 더 고급 오디오 처리 파이프라인에 통합할 수 있습니다. pianoify.net과 같은 커뮤니티 구현체의 소스 코드는 GitHub의 https://github.com/jerryzhou196/pianoify에서 확인할 수 있습니다.