magenta/ddsp

解决的问题

DDSP 提供了一种将传统数字信号处理 (DSP) 与深度学习相结合的方法。它解决了创建可解释且具有物理意义的音频生成模型的问题，而不是将音频视为原始波形或神经网络的黑盒输出。

运作原理

该函数库提供了常见 DSP 函数（如合成器、滤波器和波形整形器）的可微分版本，这些函数可以用作神经网络中的层。神经网络不再预测原始音频样本，而是预测这些 DSP 处理器的控制参数（如音高和振幅）。

主要组件包括：

• Processors: 将神经网络输出转换为具有物理意义的控制参数，以生成或转换音频信号的模块。
• ProcessorGroup: 一种将多个处理器串联在有向无环图 (DAG) 中的系统，可以通过 .gin 文件进行配置，无需更改 Python 代码即可进行灵活的实验。
• Core Library: 专为音频应用设计的可微分 DSP 函数、频谱运算和损失函数集合。

适用对象

它专为从事音频合成、音色转换（例如将人声转换为小提琴声）和自监督音高检测的研究人员和开发人员而设计。

特点

• 可解释的音频生成: 使用基于物理的合成，而不是原始波形生成。
• 音色转换: 包含预训练模型，用于在不同声音来源之间转换音频。
• 灵活配置: 通过 ProcessorGroup 和 gin 依赖注入支持复杂的信号处理链。
• 可微分组件: 所有 DSP 函数皆为可微分，允许使用标准的基于梯度的优化进行训练。