intel/openvino-plugins-ai-audacity

何を解決するか

このプロジェクトは、Audacity向けのAI駆動のオーディオ編集ツールのセットを提供し、インターネット接続が不要な状態で、ユーザーの自宅のハードウェア上で複雑なオーディオ処理タスクをローカルで実行できるようにします。

動作方法

OpenVINOを統合して、コンピュータのCPU、GPU、またはNPU上でAIモデルを実行します。MetaのMusicGenやDemucsなどのさまざまな専門的なモデルを、Python/PyTorchからC++に移植することで、Audacityインターフェース内で高パフォーマンスなローカル実行を可能にしています。

対象ユーザー

ステム分離やノイズ除去といったプロフェッショナルなAIオーディオツールを、デジタルオーディオワークステーション（DAW）に直接統合したい、オーディオエンジニア、ポッドキャスター、ミュージシャン。

主な特徴

• 音楽分離: トラックをドラム、ベース、ボーカル、その他の楽器に分離します。
• ノイズ除去: オーディオサンプルからの背景ノイズを除去します。
• 音楽生成: MusicGen LLMを使用して新しい音楽スニペットを作成するか、既存のものを継続します。
• Whisper変換: whisper.cppを使用して、話されたオーディオやボーカル用のラベルトラックを生成します。
• スーパーレゾリューション: オーディオの解像度を向上させ、より明確で詳細な音質にします。