DamRsn/NeuralNote

解决的问题

NeuralNote 是一款旨在将音频录音转换为 MIDI 数据（音频转 MIDI 转录）的音频插件。它允许音乐人和制作人从音频文件或现场录音中提取音符，并将其转换为数字音频工作站 (DAW) 中可编辑的 MIDI 音符。

运作原理

该工具作为 VST3/AU 插件或独立应用程序运行。用户可以录制现场音频或拖入支持的音频文件 (.wav, .aiff, .flac, .mp3, .ogg)。它使用 MuScriptor Transformer 模型（参数范围从 103M 到 1.4B）来分析音频并将其解码为 MIDI 事件。该过程完全在用户机器上使用 muscriptor.cpp 引擎本地执行，并利用 GPU 加速（macOS 上的 Metal 和 Windows 上的 Vulkan）以实现更快的转录。

目标用户

主要针对使用 DAW 并利用音频转 MIDI 转录来捕捉音乐灵感，或可能需要转录包含多种乐器的完整混音的音乐制作人、作曲家和音乐人。

特色亮点

• 多乐器转录：能够转录完整混音，并按乐器对音符进行分组。
• 完全本地处理：音频数据绝不会离开用户的机器。
• 模型灵活性：提供三种模型大小（小、中、大）以平衡速度与质量。
• DAW 集成：作为插件 (VST3/AU) 或独立应用程序运行，允许将 MIDI 直接拖放到 MIDI 轨道中。