magenta/mt3

MT3: Multi-Task Multitrack Music Transcription

它解決了什麼問題

它提供了一種將音樂錄音自動轉錄為樂譜的方法，支援單一樂器（鋼琴）和多樂器錄音。

運作原理

MT3 使用 T5X 框架來實現多任務多軌音樂轉錄模型。它允許使用者應用預訓練檢查點（鋼琴專用模型或多樂器模型）將音訊檔案轉換為轉錄資料。

目標受眾

需要將音樂錄音轉換為數位樂譜的音樂家、研究人員和開發人員。

特色亮點

  • 多樂器支援：能夠同時處理多種樂器。
  • 預訓練檢查點：包含基於 ISMIR 2021 和 ICLR 2022 研究論文的模型。
  • Colab 整合：提供筆記本以便輕鬆測試和轉錄個人音訊檔案。

相關

  • 專案
    ken107/read-aloud

    一款適用於 Chrome 和 Firefox 的瀏覽器擴充功能，利用文字轉語音技術將網頁文字轉換為音訊，以提升無障礙體驗並方便多工處理。

  • 專案
    YuJunZhiXue/dsh-purge

    dsh-purge 是一個用於 DeepSeek Harness 的開源 (MIT) 外掛程式，可為官方 DeepSeek AI 套件添加可逆的本地修補程式。它讓開發人員能夠在自己的 DSH 安裝（Web CLI、社群桌面版或官方桌面 EXE）上執行受控的提示詞注入/紅隊測試，以發現並強化防護機制漏洞。安裝方式為每個主機執行 `dsh plugin add …`，隨後重新啟動並在設定介面中執行 **Apply** 步驟。

  • 專案
    KEV0143/Comparative-analysis-of-hourly-load-forecasting-using-PatchTST-TFT-NHiTS-and-CatBoost

    一項使用真實俄羅斯公用事業資料的 Python 研究專案，比較四種現代時間序列模型（PatchTST、TFT、N‑HiTS、CatBoost）在逐小時電力負載預測中的表現。包含資料預處理、訓練流程、統計分析與視覺化，採用 Apache 2.0 授權釋出。

  • 專案
    tsurumeso/vocal-remover

    透過將人聲與背景音樂分離，使用深度學習從歌曲中提取伴奏音軌的工具。