muscriptor/muscriptor
A multi-instrument music transcription model developed by Kyutai and Mirelo.
何を解決するか
MuScriptorは、複数楽器の音楽録音をMIDIや楽譜といった構造化されたデジタル形式に変換する課題を解決します。音楽家や作曲家が録音を編集可能な楽譜に変換する必要がある場合に、高精度でオープンソースの代替手段を提供することを目指しています。
動作方法
このシステムは、トランスフォーマーのデコーダー専用アーキテクチャを使用して音声を処理し、変換結果を生成します。ハードウェアの可用性に応じて、速度と精度のバランスを取るために、3つのモデルサイズ（小、中、大）が用意されています。このツールはWebアプリ、コマンドラインインターフェース（CLI）、またはPythonライブラリとして統合して使用できます。楽譜生成にはMuseScore 4を統合しており、ギターなどの弦楽器向けのタブ譜も含むPDFやMusicXML形式にエングラブ（装飾）できます。
対象ユーザー
このツールは、複数楽器の録音をMIDIやプロフェッショナルな楽譜に自動変換したい音楽家、作曲家、研究者向けに設計されています。
特徴
- 複数楽器対応：1つの録音から複数楽器を変換可能。
- プロフェッショナルな楽譜生成：MuseScore 4を介してPDFスコア、MusicXMLファイル、楽器固有のタブ譜を出力。
- 柔軟なデプロイ：Web UI、CLI、Python APIを提供し、さまざまなワークフローに対応。
- スケーラブルなモデルサイズ：CPU専用またはGPU加速マシンに対応する3種類のモデル（103M～1.4Bパラメータ）を提供。
関連
- Dispatch
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト