intel/openvino-plugins-ai-audacity

해결하는 문제

이 프로젝트는 Audacity용 AI 기반 오디오 편집 도구 세트를 제공하여, 사용자가 인터넷 연결 없이 자신의 하드웨어에서 복잡한 오디오 처리 작업을 로컬로 수행할 수 있도록 합니다.

작동 방식

OpenVINO를 통합하여 컴퓨터의 CPU, GPU 또는 NPU에서 AI 모델을 실행합니다. Meta의 MusicGen과 Demucs와 같은 다양한 전문 모델을 Python/PyTorch에서 C++로 이식하여 Audacity 인터페이스 내에서 고성능 로컬 실행을 가능하게 합니다.

대상 사용자

스템 분리 및 노이즈 제거와 같은 프로페셔널한 AI 오디오 도구를 디지털 오디오 워크스테이션(DAW)에 직접 통합하고자 하는 오디오 엔지니어, 팟캐스터, 음악가.

주요 기능

• 음악 분리: 트랙을 드럼, 베이스, 보컬, 기타 악기로 분리합니다.
• 노이즈 제거: 오디오 샘플에서 배경 노이즈를 제거합니다.
• 음악 생성: MusicGen LLM을 사용하여 새로운 음악 스니펫을 생성하거나 기존 음악을 이어갑니다.
• Whisper 변환: whisper.cpp를 사용하여 말하는 오디오 또는 보컬용 레이블 트랙을 생성합니다.
• 슈퍼 리졸루션: 오디오의 해상도를 향상시켜 선명도와 세부 사항을 개선합니다.