DamRsn/NeuralNote

解決的問題

NeuralNote 是一款旨在將音訊錄音轉換為 MIDI 數據（音訊轉 MIDI 轉錄）的音訊插件。它允許音樂家和製作人從音訊檔案或現場錄音中提取音符，並將其轉換為數位音訊工作站 (DAW) 中可編輯的 MIDI 音符。

運作原理

該工具作為 VST3/AU 插件或獨立應用程式運作。使用者可以錄製現場音訊或拖入支援的音訊檔案 (.wav, .aiff, .flac, .mp3, .ogg)。它使用 MuScriptor Transformer 模型（參數範圍從 103M 到 1.4B）來分析音訊並將其解碼為 MIDI 事件。該過程完全在使用者機器上使用 muscriptor.cpp 引擎本地執行，並利用 GPU 加速（macOS 上的 Metal 和 Windows 上的 Vulkan）以實現更快的轉錄。

目標使用者

主要針對使用 DAW 並利用音訊轉 MIDI 轉錄來捕捉音樂靈感，或可能需要轉錄包含多種樂器的完整混音的音樂製作人、作曲家和音樂家。

特色亮點

• 多樂器轉錄：能夠轉錄完整混音，並按樂器對音符進行分組。
• 完全本地處理：音訊數據絕不會離開使用者的機器。
• 模型靈活性：提供三種模型大小（小、中、大）以平衡速度與品質。
• DAW 整合：作為插件 (VST3/AU) 或獨立應用程式運作，允許將 MIDI 直接拖放到 MIDI 軌道中。