christian-byrne/audio-separation-nodes-comfyui

What it solves

このプロジェクトは、ComfyUI 用のカスタムノードセットを提供し、ユーザーが音声トラックを操作・分離できる機能を提供します。混合された音声ファイルや動画から特定の音要素（ボーカル、ドラムなど）を回出し、ノードベースのワークフロー内でテンポ合わせやクロップなどの基本的な音声編集タスクを実行するという課題を解決します。

How it works

このツールキットは Hybrid Demucs を統合しており、音声を 4 つの異なる Stems（ベース、ドラム、ボーカル、およびギターやキーボードなどの「その他」）に分割します。また、波形の結合、速度の変更、Onset Detection（オンセット検出）による 2 つのトラックのテンポ同期、および動画ファイル内の音声トラックの置換機能を持つユーティリティノードも含まれています。

Who it’s for

生成 AI ワークフローに音声処理、リミックス、ボーカル分離を組み込みたい ComfyUI ユーザー向けに設計されています。例えば、動画の背景音楽を AI 生成音声に置き換えるといった用途が考えられます。

Highlights

• AI-powered separation: Hybrid Demucs を使用してボーカル、ドラム、ベース、その他の楽器を分離します。
• Tempo synchronization: BPM を検出し、タイムストレッチ機能によりトラック間のテンポを同期させます。
• Video integration: 動画ファイルの音声トラックを新しい音声ソースに置き換えることができます。
• Waveform manipulation: 音声のクロップや、数学的演算（加算、平均、減算、乗算、除算）を用いたトラックの結合機能を持つノードを提供します。