DamRsn/NeuralNote

해결하는 문제

NeuralNote는 오디오 녹음을 MIDI 데이터로 변환(오디오-MIDI 변환)하도록 설계된 오디오 플러그인입니다. 음악가와 프로듀서는 오디오 파일이나 라이브 녹음에서 음표를 추출하여 디지털 오디오 워크스테이션(DAW)에서 편집 가능한 MIDI 노트로 바꿀 수 있습니다.

작동 방식

이 도구는 VST3/AU 플러그인 또는 독립형 앱으로 작동합니다. 사용자는 라이브 오디오를 녹음하거나 지원되는 오디오 파일(.wav, .aiff, .flac, .mp3, .ogg)을 드롭할 수 있습니다. MuScriptor Transformer 모델(103M에서 1.4B 파라미터 범위)을 사용하여 오디오를 분석하고 MIDI 이벤트로 디코딩합니다. 이 과정은 muscriptor.cpp 엔진을 사용하여 사용자의 컴퓨터에서 완전히 로컬로 실행되며, GPU 가속(macOS의 경우 Metal, Windows의 경우 Vulkan)을 활용하여 더 빠른 변환을 제공합니다.

대상 사용자

주로 DAW를 사용하며 음악적 아이디어를 캡처하거나 여러 악기가 포함된 전체 믹스를 변환하기 위해 오디오-MIDI 변환을 사용하는 음악 프로듀서, 작곡가 및 음악가를 위한 도구입니다.

주요 특징

• 다중 악기 변환: 악기별로 그룹화된 음표로 전체 믹스를 변환할 수 있습니다.
• 완전 로컬 처리: 오디오 데이터가 사용자의 컴퓨터 외부로 유출되지 않습니다.
• 모델 유연성: 속도와 품질의 균형을 맞출 수 있도록 세 가지 모델 크기(소, 중, 대)를 제공합니다.
• DAW 통합: 플러그인(VST3/AU) 또는 독립형 앱으로 작동하며, MIDI를 MIDI 트랙으로 직접 드래그 앤 드롭할 수 있습니다.