DamRsn/NeuralNote

解決する課題

NeuralNoteは、オーディオ録音をMIDIデータに変換（オーディオ・トゥ・MIDI転写）するために設計されたオーディオプラグインです。ミュージシャンやプロデューサーは、オーディオファイルやライブ録音から音符を抽出し、デジタル・オーディオ・ワークステーション（DAW）で編集可能なMIDIノートに変換することができます。

仕組み

このツールは、VST3/AUプラグインまたはスタンドアロンアプリとして動作します。ユーザーはライブオーディオを録音するか、サポートされているオーディオファイル（.wav, .aiff, .flac, .mp3, .ogg）をドロップするだけです。MuScriptor Transformerモデル（103Mから1.4Bパラメータ）を使用してオーディオを解析し、MIDIイベントにデコードします。このプロセスは muscriptor.cpp エンジンを使用してユーザーのPC上で完全にローカルで実行され、GPUアクセラレーション（macOSではMetal、WindowsではVulkan）を活用して高速な転写を実現します。

対象ユーザー

主に、DAWを使用し、音楽のアイデアをキャプチャするため、あるいは複数の楽器を含むフルミックスを転写するためにオーディオ・トゥ・MIDI転写を利用する音楽プロデューサー、作曲家、ミュージシャンを対象としています。

ハイライト

• マルチ楽器転写: 楽器ごとにグループ化された音符でフルミックスを転写可能。
• 完全ローカル処理: オーディオデータがユーザーのPCから外部へ送信されることはありません。
• モデルの柔軟性: 速度と品質のバランスをとるために、3つのモデルサイズ（小、中、大）を提供。
• DAW統合: プラグイン（VST3/AU）またはスタンドアロンアプリとして動作し、MIDIを直接MIDIトラックにドラッグ＆ドロップ可能。