magenta/ddsp

解決する課題

DDSPは、従来のデジタル信号処理 (DSP) とディープラーニングを組み合わせる方法を提供します。これは、オーディオを単なる生の波形やニューラルネットワークのブラックボックス出力として扱うのではなく、解釈可能で物理的な意味を持つオーディオ生成モデルを作成するという課題を解決します。

仕組み

このライブラリは、シンセサイザー、フィルター、ウェーブシェイパーといった一般的なDSP関数の微分可能なバージョンを提供し、それらをニューラルネットワーク内のレイヤーとして使用できるようにします。ネットワークは生のオーディオサンプルを予測する代わりに、これらのDSPプロセッサの制御パラメータ（ピッチや振幅など）を予測します。

主なコンポーネントは以下の通りです：

• Processors: ニューラルネットワークの出力を物理的に意味のある制御パラメータに変換し、オーディオ信号を生成または変換するモジュール。
• ProcessorGroup: 複数のプロセッサを非巡回有向グラフ (DAG) で連結するシステム。.gin ファイルを通じて設定可能であり、Pythonコードを変更することなく柔軟な実験が可能です。
• Core Library: オーディオアプリケーション向けに特別に設計された、微分可能なDSP関数、スペクトル演算、損失関数のコレクション。

対象ユーザー

オーディオ合成、音色変換（例：声をバイオリンの音に変換する）、自己教師ありピッチ検出に取り組む研究者や開発者向けに設計されています。

ハイライト

• 解釈可能なオーディオ生成: 生の波形生成ではなく、物理ベースの合成を使用します。
• 音色変換: 異なる音源間でオーディオを変換するための事前学習済みモデルが含まれています。
• 柔軟な設定: ProcessorGroup と gin の依存関係注入により、複雑な信号処理チェーンをサポートします。
• 微分可能なコンポーネント: すべてのDSP関数は微分可能であり、標準的な勾配ベースの最適化を使用して学習可能です。