magenta/ddsp

해결하는 문제

DDSP는 전통적인 디지털 신호 처리(DSP)와 딥러닝을 결합하는 방법을 제공합니다. 이는 오디오를 단순히 원시 파형이나 신경망의 블랙박스 출력으로 처리하는 대신, 해석 가능하고 물리적 의미를 지닌 오디오 생성 모델을 만드는 문제를 해결합니다.

작동 원리

이 라이브러리는 신디사이저, 필터, 웨이브셰이퍼와 같은 일반적인 DSP 함수의 미분 가능한 버전을 제공하며, 이를 신경망 내의 레이어로 사용할 수 있습니다. 신경망은 원시 오디오 샘플을 예측하는 대신, 이러한 DSP 프로세서의 제어 파라미터(피치 및 진폭 등)를 예측합니다.

주요 구성 요소는 다음과 같습니다:

• Processors: 신경망 출력을 물리적으로 의미 있는 제어 파라미터로 변환하여 오디오 신호를 생성하거나 변환하는 모듈.
• ProcessorGroup: 여러 프로세서를 비순환 방향 그래프(DAG)로 연결하는 시스템으로, .gin 파일을 통해 설정할 수 있어 Python 코드를 변경하지 않고도 유연한 실험이 가능합니다.
• Core Library: 오디오 애플리케이션을 위해 특별히 설계된 미분 가능한 DSP 함수, 스펙트럼 연산 및 손실 함수 모음.

대상 사용자

오디오 합성, 음색 변환(예: 목소리를 바이올린 소리로 변환), 자기 지도 학습 기반 피치 검출을 연구하는 연구자 및 개발자를 위해 설계되었습니다.

주요 특징

• 해석 가능한 오디오 생성: 원시 파형 생성 대신 물리 기반 합성을 사용합니다.
• 음색 변환: 서로 다른 음원 간에 오디오를 변환하기 위한 사전 학습된 모델을 포함합니다.
• 유연한 설정: ProcessorGroup 및 gin 의존성 주입을 통해 복잡한 신호 처리 체인을 지원합니다.
• 미분 가능한 구성 요소: 모든 DSP 함수는 미분 가능하므로 표준 경사 하강법 기반 최적화를 사용하여 학습할 수 있습니다.