MuScriptor: オープンソースのオーディオからMIDIへの書き起こしモデル

MuScriptorの概要

MuScriptorは、KyutaiとMireloの共同開発によるオープンソースのマルチインストゥルメント・オーディオからMIDIへの書き起こしモデルです。このモデルは、ポップ、クラシック、メタル、ジャズなどのジャンルを問わず、オーディオ録音をMIDIノートに変換します。MuScriptorの主な技術的利点は、録音に含まれる楽器を事前に指定する必要なしに書き起こしを実行できる能力にあります。

技術的能力とパフォーマンス

MuScriptorは、従来のスペクトル解析ツールを凌駕する高忠実度なオーディオからMIDIへの変換を提供します。ユーザーからは、三和音の形状に基づいた複雑なギターリフや、Linkin Parkの「In the End」のイントロのような、従来の書き起こしソフトウェアでは困難なことが多い象徴的な楽曲のイントロの書き起こしにおいて、高い精度が報告されています。

"This produced a transcription that sounds 1:1 to my ear. Could totally see myself using this as tools I use to learn music."

実装と公開インスタンス

MuScriptorモデルにアクセスする方法は、公式のKyutaiブログや公式のソースコードなど、いくつかあります。pianoify.netのようなコミュニティ主導の実装では、ユーザーがMP3、WAV、M4A、またはFLACファイル（最大10分まで）をアップロードしたり、YouTubeのリンクを提供したりできる簡略化されたウェブインターフェースを提供しています。

これらの公開インスタンスの中には、書き起こしのためにオーディオを10秒間にクロップするといった特定の制約を課すものがあり、一部のユーザーからは公式モデルの機能と比較して制限要因であると指摘されています。

ソースコードと可用性

MuScriptorはオープンソースであり、開発者はこのモデルを音楽理論分析ツールや、より高度なオーディオ処理パイプラインに統合することが可能です。pianoify.netのようなコミュニティ実装のソースコードは、GitHubの https://github.com/jerryzhou196/pianoify で入手可能です。