magenta/mt3

MT3: Multi-Task Multitrack Music Transcription

解決する課題

音楽の録音を自動的に楽譜に転写する方法を提供し、単一楽器（ピアノ）およびマルチ楽器の録音の両方をサポートします。

仕組み

MT3は、T5Xフレームワークを使用してマルチタスク・マルチトラックの音楽転写モデルを実装しています。ユーザーは、事前学習済みのチェックポイント（ピアノ専用モデルまたはマルチ楽器モデル）を適用して、オーディオファイルを転写データに変換できます。

対象ユーザー

音楽の録音をデジタル楽譜に変換する必要があるミュージシャン、研究者、開発者。

ハイライト

  • マルチ楽器サポート：複数の楽器を同時に処理可能。
  • 事前学習済みチェックポイント：ISMIR 2021およびICLR 2022の研究論文に基づくモデルが含まれています。
  • Colab統合：個人のオーディオファイルを簡単にテストおよび転写するためのノートブックを提供します。

関連

  • プロジェクト
    ken107/read-aloud

    ChromeおよびFirefox用のブラウザ拡張機能で、テキスト読み上げ技術を使用してウェブページのテキストを音声に変換し、アクセシビリティの向上とマルチタスクを支援します。

  • プロジェクト
    YuJunZhiXue/dsh-purge

    dsh-purgeは、DeepSeek Harness用のオープンソース（MIT）プラグインであり、公式のDeepSeek AIパッケージに可逆的なローカルパッチを追加します。開発者は、自身のDSHインストール（Web CLI、コミュニティデスクトップ、または公式デスクトップEXE）上で制御されたプロンプトインジェクション/レッドチームテストを実行し、ガードレールの欠陥を発見して強化できます。インストールはホストごとに `dsh plugin add …` を実行し、再起動後に設定UIで **Apply** ステップを行うことで完了します。

  • プロジェクト
    KEV0143/Comparative-analysis-of-hourly-load-forecasting-using-PatchTST-TFT-NHiTS-and-CatBoost

    実際のロシア電力会社データを用いた、時系列モデル（PatchTST、TFT、N‑HiTS、CatBoost）の比較研究。1時間単位の電力負荷予測を対象とし、データ前処理、訓練パイプライン、統計分析、可視化を含む。Apache 2.0 ライセンスで公開。

  • プロジェクト
    tsurumeso/vocal-remover

    音声をバックグラウンド音楽から分離することで、楽曲からインストゥルメンタルトラックを抽出するためのディープラーニングツール。