MuScriptor: 开源音频转 MIDI 转录模型

MuScriptor 概述

MuScriptor 是一个由 Kyutai 和 Mirelo 合作开发的开源多乐器音频转 MIDI 转录模型。该模型可以将音频录音——无论是什么流派，如流行、古典、金属或爵士——转换为 MIDI 音符。MuScriptor 的一个关键技术优势在于，它能够在无需用户预先指定录音中包含哪些乐器的情况下进行转录。

技术能力与性能

MuScriptor 提供高保真度的音频转 MIDI 转换，其性能优于传统的频谱分析工具。用户报告称，在根据三和弦形状转录复杂的吉他乐句，以及转录标志性的歌曲开头（例如 Linkin Park 的 "In the End" 的开头）方面具有极高的准确性，而这些通常是传统转录软件难以应对的挑战。

"这生成的转录结果在我听来简直是 1:1。完全可以想象自己将其作为学习音乐的工具来使用。"

实现方式与公开实例

有多种方式可以访问 MuScriptor 模型，包括 Kyutai 官方博客和官方源代码。社区驱动的实现，例如 pianoify.net，为用户提供了简化的 Web 界面，允许用户上传 MP3、WAV、M4A 或 FLAC 文件（最长 10 分钟）或提供 YouTube 链接。

其中一些公开实例可能会施加特定的限制，例如将音频裁剪为 10 秒进行转录，一些用户指出这与官方模型的能力相比是一个限制因素。

源代码与可用性

MuScriptor 是开源的，允许开发者将该模型集成到乐理分析工具或更高级的音频处理流水线中。像 pianoify.net 这样的社区实现的源代码可以在 GitHub 上通过 https://github.com/jerryzhou196/pianoify 获取。