Stable Audio 3: 고속 잠재 확산을 이용한 오디오 생성

생성 오디오 분야는 느리고 클라우드에 의존하던 프로세스에서 고속, 로컬 실행으로 전환하고 있습니다. Stable Audio 3가 출시됨에 따라 Stability AI는 고품질 오디오 생성과 극한 추론 속도를 동시에 만족시키는 잠재 확산 모델군을 선보이며, 실시간 오디오 제작을 개발자와 크리에이터에게 보다 쉽게 접근할 수 있게 했습니다.

Stable Audio 3의 아키텍처

Stable Audio 3는 단일 모델이 아니라 소형, 중형, 대형으로 구분되는 모델군입니다. 이러한 계층적 접근은 시스템이 고성능 H200 GPU부터 일반 소비자용 MacBook Pro까지 다양한 하드웨어 환경에 맞춰 확장될 수 있게 합니다.

가변 길이 생성

오디오 생성에서 주요 기술적 난관 중 하나는 긴 시퀀스를 만드는 데 드는 계산 비용입니다. Stable Audio 3는 가변 길이 생성을 지원함으로써 이를 해결합니다. 이를 통해 사용자는 짧은 효과음이나 간단한 멜로디와 같이 짧은 길이만 필요할 때 전체 트랙을 생성하는 데 드는 계산 비용을 지불하지 않아도 됩니다.

시맨틱-오디오 오토인코더

시스템의 핵심은 새로운 시맨틱-오디오 오토인코더입니다. 이 구성 요소는 원시 오디오를 압축된 잠재 공간으로 투영합니다. 원시 파형이 아닌 이 잠재 공간에서 확산 과정을 수행함으로써 효율성이 크게 향상됩니다. 오토인코더는 오디오 품질을 유지하면서 잠재 공간 내에 의미론적 구조를 형성하도록 설계되어, 프롬프트의 의도가 정확히 소리로 변환되도록 합니다.

적대적 사후 학습

성능을 더욱 최적화하기 위해 팀은 적대적 사후 학습을 적용했습니다. 이 기법은 두 가지 목적을 가집니다:

가속화: 샘플을 생성하는 데 필요한 추론 단계 수를 감소시킵니다.
품질 향상: 전체 생성 품질과 프롬프트 충실도를 높여, 출력이 보다 자연스럽고 사용자의 설명에 가깝게 맞춰지도록 합니다.

주요 기능 및 성능

단순 텍스트‑투‑오디오 생성 외에도 Stable Audio 3는 인페인팅을 도입했습니다. 이를 통해 녹음의 특정 구간을 교체하거나 기존 짧은 녹음의 연속을 생성하는 등 목표 지향적인 오디오 편집이 가능해져, 전문 오디오 엔지니어와 사운드 디자이너에게 강력한 도구가 됩니다.

하드웨어 벤치마크

새 모델들의 속도는 특히 주목할 만합니다. 기술 문서에 따르면:

H200 GPU: 생성 시간이 2초 미만.
MacBook Pro M4: 생성 시간이 몇 초 수준.

커뮤니티 회원들도 이러한 결과를 확인했으며, 한 사용자는 RTX 3090을 사용해 120초 분량의 오디오를 2초 이하로 생성했다고 보고했습니다.

커뮤니티 인사이트 및 비판

속도 측면에서의 기술적 성과는 인상적이지만, Hacker News에서의 커뮤니티 반응은 모델의 현재 출력 품질에 대해 미묘한 시각을 보여줍니다.

품질 vs. 속도

일부 사용자는 속도가 "믿을 수 없을 정도로 빠르다"고 평가하면서도, 오디오 품질이 아직 최종 제작 단계의 최고 산업 표준에 미치지 못한다고 지적했습니다. 한 사용자는 출력이 "일반적인 MIDI와 너무 비슷하다"며, 전자음악에 더 적합하고 유기적인 장르에는 부적합하다고 언급했습니다. 또 다른 사용자는 품질을 초기 Suno.AI 버전과 비교하며, 완성된 제품보다는 샘플링 및 곡 제작용 도구로 활용하기에 유용하다고 평가했습니다.

윤리적 데이터 사용

커뮤니티에서 칭찬받은 점은 라이선스 관리입니다. 모델은 라이선스가 부여된 데이터와 Creative Commons 데이터로 학습되었으며, 이는 개발자가 상업 제품에 모델을 통합할 때 무허가 데이터 사용으로 인한 법적 위험을 회피할 수 있게 하는 중요한 요소입니다.

로컬 실행

소형 및 중형 모델에 대한 가중치 공개는 로컬 배포를 가능하게 했습니다. 이는 이미 개발자들이 모델을 생성 샘플러와 그루브박스 프로젝트에 통합하는 빠른 커뮤니티 실험을 촉진했으며, Stable Audio 3가 로컬, 실시간 창작 워크플로우를 위한 도구로서의 유용성을 입증하고 있습니다.