텍스트 및 참조 사운드에서 오디오 생성: 현재 환경과 사용 가능한 모델

완전한 상용 텍스트+참조 오디오 모델은 아직 없음

현재 참조 사운드와 텍스트 명령을 입력받아 새로운 일치하는 오디오 클립을 출력하는 널리 사용 가능한 프로덕션급 모델은 없습니다. ElevenLabs와 같은 기존 상용 서비스는 순수 텍스트-음성 변환에 초점을 맞추고 있으며, 연구용 프로토타입은 품질이 낮거나 복잡한 해결 방법이 필요합니다.

음성 복제 시스템이 부분적 해결책을 제공

음성 복제 모델은 짧은 오디오 샘플과 텍스트 프롬프트를 입력받아 참조 음성을 모방하는 음성을 생성할 수 있습니다. 예를 들어, Qwen-3 TTS에는 제공된 음성 샘플의 음색으로 임의의 텍스트를 읽는 "복제" 기능이 포함되어 있습니다. 사용자들은 개인 맞춤형 오디오북에 대해 만족스러운 결과를 보고했지만, 출력은 임의의 음향 효과가 아닌 음성 언어로 제한됩니다.

"저는 QWEN3 TTS 복제 기능을 사용해 어머니를 위한 맞춤형 오디오북을 만들었습니다. 꽤 잘 작동했습니다." – @jajazheng

연구용 프로토타입이 오디오 생성을 목표로 함

텍스트 및/또는 참조 임베딩에 따라 오디오를 생성하는 것을 목표로 하는 여러 오픈 소스 프로젝트가 있습니다:

AudioLDM / AudioLDM-2 및 AudioX는 텍스트 설명에서 오디오를 합성할 수 있는 확산 기반 모델입니다. 이들은 아직 실험 단계에 있으며, 특히 비음악적 음향 효과의 경우 낮은 충실도의 결과를 자주 생성합니다.

"AudioX와 AudioLDM(2) 모델이 이 작업을 수행하는 것 같지만, 당신이 진정한 격차를 발견했다고 생각합니다." – @chr15m
Stable Audio 3는 텍스트+참조 생성을 지원한다고 주장하지만, 초기 사용자들은 음질이 매우 나쁘다고 보고하여 기술이 아직 프로덕션 준비가 되지 않았음을 나타냅니다.
Suno/Lyria는 생성 후 원하는 요소를 분리하여 음향 효과 합성에 재사용할 수 있는 음악 생성 모델이지만, 주로 음악 데이터로 훈련되었습니다.

"기술적으로 음악용으로 훈련되었지만, Suno/Lyria가 이 작업을 수행할 수 있는지 테스트해 볼 가치가 있습니다." – @moonu

임베딩 기반 검색 및 조건화

CLAP(대조 언어-오디오 사전 훈련)과 같은 프로젝트는 이미지용 CLIP과 유사한 오디오 임베딩을 생성합니다. CLAP는 오디오를 직접 합성하지는 않지만, 해당 임베딩은 텍스트 쿼리를 기반으로 기존 사운드 라이브러리를 검색하거나 순위를 매기는 데 사용할 수 있어 더 큰 파이프라인의 잠재적 구성 요소로 작동합니다.

"CLAP는 오디오 임베딩을 생성합니다 – CLIP가 시각적 입력에 대해 수행하는 것과 매우 유사합니다." – @bobosha

스펙트로그램 조작을 사용한 간접 워크플로우

창의적인 해결 방법은 오디오를 이미지로 취급하는 것입니다: 참조 오디오를 스펙트로그램으로 변환하고, 스펙트로그램과 텍스트 프롬프트를 이미지 생성 모델(예: Stable Diffusion)에 입력한 다음, 수정된 스펙트로그램을 다시 파형으로 변환합니다. 이 접근 방식은 대규모로 테스트되지 않았으며 아티팩트를 도입할 수 있지만, 기존 이미지 모델을 오디오 작업에 재사용할 수 있는 방법을 보여줍니다.

"이미지 모델이 스펙트로그램 이미지를 조작하는 데 얼마나 능숙한가요? 입력 오디오를 스펙트로그램으로 변환 → 스펙트로그램 + 프롬프트를 이미지 모델에 전달 → 다시 오디오 파형으로 변환." – @xg15

절차적 합성을 위한 코드 생성

또 다른 각도는 사운드를 합성하는 코드(예: SuperCollider 또는 Faust 사용)를 생성하는 것입니다. 직접적인 텍스트+참조 모델은 아니지만, AI 생성 코드는 도메인별 지식과 결합될 때 맞춤형 음향 효과를 생성할 수 있습니다.

"AI를 사용하여 사운드를 합성하는 코드를 생성하는 방법을 살펴봐야 합니다." – @soundworlds

새로운 플랫폼 및 서비스

Daydream Music은 오디오 도구와의 통합을 갖춘 실시간 엔진을 제공하지만, 임의의 음향 효과 생성보다는 음악 제작에 중점을 둡니다.

"Daydream Music – DEMON 실시간 엔진은 오픈 소스입니다. 호스팅 서비스에는 인기 있는 오디오 도구와의 여러 통합이 있습니다." – @jallmann

환경 요약

정확한 텍스트 + 참조 오디오 → 새 오디오 사용 사례를 충족하는 턴키 상용 제품은 현재 없습니다.
음성 복제 도구(예: Qwen-3 TTS)는 참조 음성을 모방할 수 있지만 음성으로 제한됩니다.
연구용 확산 모델(AudioLDM, AudioX)은 제한된 충실도로 실험적 기능을 제공합니다.
임베딩 모델(CLAP)은 검색을 가능하게 하지만 합성은 불가능합니다.
스펙트로그램-이미지 파이프라인과 코드 생성은 유망한 연구 방향이지만 상당한 엔지니어링이 필요합니다.

결론: 이 분야는 2016년경의 이미지 생성과 비교할 수 있는 초기 단계에 있습니다. 실무자들은 성숙한 상용 솔루션이 등장할 때까지 기존 음성 복제, 확산 프로토타입 또는 창의적인 해결 방법을 결합하여 원하는 기능을 근사해야 합니다.