muscriptor/muscriptor
A multi-instrument music transcription model developed by Kyutai and Mirelo.
解决的问题
MuScriptor 解决了多乐器音乐转录的挑战，将音乐的多乐器录音转换为 MIDI 和乐谱等结构化数字格式。其目标是为音乐家和作曲家提供一种高精度、开源的替代方案，用于将音频转录为可编辑的乐谱。
工作原理
该系统使用仅解码器的 Transformer 架构来处理音频并生成转录结果。根据可用硬件，提供三种模型尺寸（小、中、大），以在速度和精度之间取得平衡。该工具可作为 Web 应用、命令行界面（CLI）运行，或通过 Python 库集成。在生成乐谱时，它与 MuseScore 4 集成，将转录结果排版为 PDF 和 MusicXML 格式，包括吉他等拨弦乐器的六线谱。
适用人群
本工具专为希望将多乐器录音自动转录为 MIDI 或专业乐谱的音乐家、作曲家和研究人员设计。
主要亮点
- 多乐器支持：从单个录音中转录多个乐器。
- 专业乐谱生成：通过 MuseScore 4 生成 PDF 乐谱、MusicXML 文件，并支持乐器特定的六线谱。
- 灵活部署：提供 Web UI、CLI 和 Python API，适用于不同工作流程。
- 可扩展模型尺寸：提供三种模型变体（103M 到 1.4B 参数），适用于仅 CPU 或 GPU 加速的机器。
相关
- Dispatch
- 项目
- 项目
- 项目
- 项目