teticio/audio-diffusion

What it solves

이 프로젝트는 일반적으로 이미지 생성에 사용되는 확산 모델(diffusion models) 기술을 오디오 데이터에 적용하여 음악과 오디오 루프의 합성을 가능하게 합니다. 데이터셋의 오디오 파일 패턴을 학습하여 새로운 오디오 샘플을 생성할 수 있는 모델을 훈련하고 사용하는 프레임워크를 제공합니다.

How it works

오디오는 먼저 멜 스펙트로그램(소리의 시각적 표현)으로 변환되어 이미지로 취급됩니다. 이 프로젝트는 다음과 같은 여러 확산 기술을 사용하여 이 스펙트로그램을 생성합니다:

• DDPM (De-noising Diffusion Probabilistic Models): 멜 스펙트로그램을 학습하여 유사한 것을 합성하고, 이를 다시 오디오로 변환합니다.

• DDIM (De-noising Diffusion Implicit Models): 더 적은 단계로 더 빠른 생성을 가능하게 하며, 노이즈 공간에서 오디오 샘플 간의 보간법을 위한 결정론적 인코딩을 지원합니다.

• Latent Audio Diffusion: Variational AutoEncoder (VAE)를 사용하여 오디오를 저차원 잠재 공간으로 압축하여 훈련 및 추론을 더 빠르고 효율적으로 만듭니다.

• Conditional Generation: 특정 인코딩(텍스트 또는 오디오 특징)을 기반으로 모델이 오디오를 생성하도록 하여 출력을 제어합니다.

Who it’s for

생성형 오디오, 음악 합성, 오디오 변형 또는 리믹스 제작에 관심이 있는 음악가, 오디오 엔지니어, AI 연구자들을 위한 데자인입니다.

Highlights

• Flexible Generation: 처음부터 오디오를 생성하거나, 기존 트랙의 변형을를 생성하거나, 입력 오디오의 일부를 마스킹하여 "out-painting"을 수행할 수 있습니다.
• Slerp Interpolation: 잠재 공간에서 서로 다른 두 오디오 샘플 사이를 보간할 수 있습니다.
• Pre-trained Models: Instrumental Hip Hop 및 Spotify-liked playlists와 같은 다양한 사전 학습된 모델을 포함합니다.
• Integration: Hugging Face의 diffusers 패키지로 이전되어 사용 및 기여가 더 쉬워졌습니다.