christian-byrne/audio-separation-nodes-comfyui

What it solves

이 프로젝트는 사용자가 오디오 트랙을 조작하고 분리할 수 있는 ComfyUI용 커스텀 노드를 제공합니다. 믹스된 오디오 파일이나 비디오에서 특정 사운드 요소(보컬, 드럼 등)를과 분리하는 문제를 해결하며, 노드 기반 워크플로우 내에서 템포 매칭 및 크로핑과 같은 기본적인 오디오 편집 작업을 수행할 수 있습니다.

How it works

이 툴킷은 Hybrid Demucs를 통합하여 오디오를 4개의 서로 다른 스템(베이스, 드럼, 보컬, "other" (기타, 키보드 등))으로 분리합니다. 또한 파형을 결합하고, 속도를 조절하고, onset detection을 통해 두 트랙의 템포를 매칭하고, 비디오 파일 내의 오디오 트랙을 교체하는 유틸리티 노드를 포함합니다.

Who it’s for

비디오의 배경 음악을 AI 생성 오디오로 교체하는 것과 같이, 생성형 AI 워크플로우에 오디오 처리, 리믹싱, 보컬 분리 기능을 통합하고자 하는 ComfyUI 사용자를 위해 설계되었습니다.

Highlights

• AI-powered separation: Hybrid Demucs를 사용하여 보컬, 드럼, 베이스, 기타 악기를 분리합니다.
• Tempo synchronization: BPM을 감지하고 타임 스트레칭(time-stretch)을 사용하여 트랙 간의 템포를 매칭합니다.
• Video integration: 비디오 파일의 오디오 트랙을 새로운 오디오 소스로 교체할 수 있습니다.
• Waveform manipulation: 오디오를 크로핑하고 수학적 연산(더하기, 평균, 빼기, 곱하기, 나누기)을 사용하여 트랙을 결합하는 노드입니다.