muscriptor/muscriptor
A multi-instrument music transcription model developed by Kyutai and Mirelo.
解決的問題
MuScriptor 解決了多樂器音樂轉錄的挑戰，將音樂的多樂器錄音轉換為 MIDI 和樂譜等結構化數位格式。其目標是為音樂家與作曲家提供一種高精度、開源的替代方案，用於將音訊轉錄為可編輯的樂譜。
工作原理
該系統使用僅解碼器的 Transformer 架構來處理音訊並生成轉錄結果。根據可用硬體，提供三種模型尺寸（小、中、大），以在速度與精度之間取得平衡。該工具可作為 Web 應用、命令列介面（CLI）運行，或透過 Python 庫整合。在生成樂譜時，它與 MuseScore 4 集成，將轉錄結果排版為 PDF 和 MusicXML 格式，包括吉他等撥弦樂器的六線譜。
適用對象
本工具專為希望將多樂器錄音自動轉錄為 MIDI 或專業樂譜的音樂家、作曲家與研究人員設計。
主要亮點
- 多樂器支援：從單一錄音中轉錄多個樂器。
- 專業樂譜生成：透過 MuseScore 4 生成 PDF 樂譜、MusicXML 檔案，並支援樂器特定的六線譜。
- 靈活部署：提供 Web UI、CLI 和 Python API，適用於不同工作流程。
- 可擴展模型尺寸：提供三種模型變體（103M 到 1.4B 參數），適用於僅 CPU 或 GPU 加速的機器。
相關
- Dispatch
- 專案
- 專案
- 專案
- 專案