Dessa: Block의 전이중 음성 모델, 오디오로만 훈련됨

Dessa는 Block의 전이중 음성 모델이며, Hacker News 반응은 오디오에 대한 경외와 그 의미에 대한 경고로 나뉘었습니다.

Dessa는 Block(Square, Cash App, Afterpay를 운영하는 회사)이 공개한 대화형 음성 모델로, 음성만으로 훈련되었고, 사용자가 말하는 동안 동시에 말할 수 있는 전이중 방식으로 작동하며, 발표 내용(토론에서 인용된 바에 따르면)에 따르면 MacBook Pro M4 Max 이상에서 로컬로 실행됩니다. 이 모델은 Hacker News 첫 페이지에 496점과 187개의 댓글로 도달했으며, 댓글 작성자들은 데모 오디오를 들어본 가장 설득력 있는 합성 음성이라고 묘사하면서도 이 기술의 가장 명백한 단기적 용도는 사칭과 사기라고 주장했습니다.

출처에 대한 참고: 링크된 페이지(block.xyz/dessa)의 스크랩된 콘텐츠에는 Block 개인정보 보호 고지 외에 제품 설명이 포함되어 있지 않았으므로, 아래의 기술적 주장은 Hacker News 토론과 댓글 작성자들이 발표 페이지에서 인용한 내용에서 비롯된 것입니다.

발표 페이지가 주장하는 내용

가장 많은 관심을 끈 주장은 모델 아키텍처가 아니라 배포 및 훈련 비용에 관한 것이었습니다. 발표를 인용한 한 댓글 작성자는 다음과 같이 요약했습니다.

대화 예시는 인상적이지만, 이 부분에서 저는 소리 내어 욕이 나왔습니다: "MacBook Pro M4 Max 이상에서 로컬로 실행됩니다. 그리고 우리는 Dessa를 NVIDIA GB200 NVL72 하나로만 훈련하는 방법을 알아냈습니다." 만약 로컬 기기에서 그 낮은 지연 시간과 표현력을 재현할 수 있다면, 이는 '인디' AI로서는 대단한 성과입니다.

여기에는 두 가지 별개의 주장이 포함되어 있습니다: 소비자용 Apple Silicon에서의 효율적인 로컬 추론과 단일 NVIDIA GB200 NVL72 랙 규모 시스템에서의 훈련입니다. 둘 다 실시간으로 자연스러운 출력을 제공하는 모델에게는 이례적입니다.

Hacker News 제출 제목은 "Dessa: 지금까지 만들어진 가장 진정한 전이중 음성 모델"이었지만, 페이지 자체의 제목은 "Dessa - 음성만으로 훈련된 대화 모델"이었습니다. 한 댓글 작성자는 최상급 표현과 감독자가 나중에 수정하는 선정적인 제목을 게시하는 패턴에 반대했습니다:

또한, HN에 훨씬 더 선정적인 제목으로 먼저 게시하여 첫 페이지에 도달한 후, 중재자가 제목을 수정하는 추세는 처벌되어야 합니다. '가장 진정한'이라는 표현이 마케팅 용어가 아닌 이유는 무엇인가요?

전이중은 모델이 차례로 말하는 것이 아니라 동시에 말하는 것을 의미합니다.

전이중 음성 모델은 오디오를 생성하고 소비하는 동시에 수행하므로, 기존 음성 비서 파이프라인처럼 턴 경계를 기다리는 대신 겹치기, 백채널, 방해를 할 수 있습니다. Dessa의 데모는 이러한 동작에 크게 의존하며, 반응이 나뉘는 지점이 바로 여기입니다.

가장 강력한 지지는 오디오를 사람과 구별할 수 없다고 여겼습니다:

네, 이것이 진짜라면 다른 어떤 것보다 훨씬 뛰어납니다. 솔직히 너무 진짜라서 진짜가 아닐 수 없다고 느껴집니다. 100% 속을 것이고, 실제 사람이 아니라는 것을 의심조차 하지 않을 것입니다.

또 다른 댓글 작성자도 같은 방식으로 효과를 설명했습니다:

예시만으로 이것이 AI인지 감지할 수 있는 방법은 없을 것입니다. 이 기술을 사용하는 악의적인 에이전트로부터 전화를 받는다면, 아마 알아차리지 못할 것입니다.

반대 주장은 겹치기가 과하다는 것이었습니다. 모델이 할 수 있다는 것을 보여주기 위해 방해한다는 것입니다:

이러한 양방향/전이중 데모는 항상 지나치게 인위적으로 느껴집니다. 모델이 차례로 말하는 대신 동시에 말할 수 있다는 것은 멋지지만, 가능한 한 많이 방해하도록 훈련하는 것은 올바른 방법이 아닙니다. 첫 번째 예시에서 '겨울'이라는 답변 후의 웃음이 설득력 있다고 생각한 사람이 있나요? 그럴 필요가 있었나요? 왜 인간 화자는 모델이 독백으로 넘어가기 전에 한 문장이나 생각을 끝마칠 수 없었나요?

관련 비판은 대화 내용이 전달 방식 아래에서 빈약하다는 것이었습니다:

이것은 AI가 비공식적인 전화 매너를 모방하도록 훈련된 파티 트릭처럼 느껴집니다. 실제 대화는 꽤 나빴습니다. 스타일은 많고 내용은 거의 없습니다.

여러 댓글 작성자는 공개된 샘플 대화에서 인간 측이 모델 측보다 덜 자연스럽게 들린다고 지적했으며, 한 사람은 직접 관찰했습니다: "약간 어색하고 이상하게 들린다고 생각했는데, 알고 보니 그게 대화의 인간 측이었습니다."

훈련 데이터 질문: 음성만으로 모델이 무엇을 배울까?

Dessa는 텍스트가 아닌 오디오로 훈련되기 때문에 LLM에 붙은 음성-텍스트 단계가 아닙니다. 댓글 작성자들은 이것이 표현력의 원천이자 한계의 원천이라고 주장했습니다.

흥미로운 점은 음성만으로 훈련하는 것이 모델이 감정을 학습할 수 있게 한다는 것입니다. 음성은 텍스트가 포착하지 못하는 많은 감정 정보를 전달합니다. 언어는 매우 제한된 수의 감정에 대한 단어를 가지고 있습니다. 아마도 정점뿐일 것입니다. 그러나 우리가 설명하거나 텍스트로 전달할 수 없는 더 많은 감정이 있습니다.

별도의 스레드에서는 음성-네이티브 모델이 실제로 단어가 아닌 소리를 모델링하는지 질문했습니다:

진짜 질문은, 그것이 실제로 소리를 이해하는가입니다. 기존 LLM은 단순히 음성을 텍스트로 변환한 다음 텍스트로 작업하므로 음악이나 허밍 또는 어떤 종류의 소리도 이해할 수 없습니다.

댓글 작성자들은 데모 오디오의 말뭉치에 대해서도 추측했습니다. 한 사람은 짧은 청취로 팟캐스트일 것이라고 추측했고, 다른 사람은 목소리가 "인간이 말하는 것처럼 들리지만 부자연스러운 방식으로 영향을 받은" 것이라고 말했습니다. 특정 실패 모드가 지적되었습니다: 모델은 영화 메멘토를 수정되기 전에 "The Mento"라고 언급했으며, 이는 음성 전용 모델이 사용하는 토큰화에 대한 질문을 촉발했습니다.

모델이 유창하지만 지식이 부족하다는 불만이 스레드 전반에 걸쳐 반복되었습니다. 한 댓글 작성자는 "스타일은 많고 내용은 거의 없음"이라고 표현했고, 다른 사람은 출력이 "십대의 의식의 흐름처럼 들린다"고 설명했습니다. 또 다른 사람은 트레이드오프를 의도적인 것으로 설명했습니다: "SOTA LLM처럼 똑똑할 필요는 없습니다. 이미 여기에 많은 가치가 있습니다. 깊은 지능을 위해 다른 시스템에 붙일 수 있습니다."

컴퓨팅 효율성: GB200 NVL72 하나가 흥미로운 숫자인가?

훈련 비용 주장은 스레드에서 가장 미래 지향적인 질문을 촉발했습니다. 동일한 효율성이 일반적으로 훨씬 더 많은 컴퓨팅을 소비하는 텍스트 모델로 전환될 수 있는지 여부입니다:

"우리는 Dessa를 NVIDIA GB200 NVL72 하나로만 훈련하는 방법을 알아냈습니다." 이것이 미친 부분입니다. 꽤 똑똑해 보이고, LLM은 훈련에 1000배 더 많은 컴퓨팅이 필요합니다. 이런 종류의 효율성을 텍스트에서도 달성할 수 있을까요?

토론에서 답변은 확립되지 않았습니다. 관련 관찰은 언어 모델이 대화형 영어보다 훨씬 더 많은 것을 습득해야 한다고 지적했습니다: "LLM은 엄청난 양의 텍스트가 필요합니다. Dessa는 수백 배 적은 단어로 언어를 배웠습니다(공정하게 말하면, LLM은 C++와 Angular 같은 것도 배워야 합니다)."

통합 격차: 도구 호출, 에이전트, 접근성

Dessa가 음성-음성 모델이라면 어떻게 세상과 상호작용할까요? 한 댓글 작성자는 도구 호출을 데모와 에이전트를 구분하는 실질적인 기준선으로 지적하며, gpt-live-1이 실용적인 에이전트로 사용될 수 있다는 점에서 주목할 만하다고 주장했습니다.

전이중 모델이 항상 가지는 문제 중 하나는 도구 호출입니다. 이것이 GPT-Live가 완전히 실용적인 에이전트로 사용될 수 있다는 점에서 빛을 발하는 부분입니다. Dessa 팀이 이것을 어떻게 구현하는지 기대됩니다.

다른 사람들은 모델이 오디오 채널이 아닌 것에 어떻게 도달하는지 직접 질문했습니다: "실제로 'AI'가 디지털과 상호작용하기를 원한다면, 이러한 음성-음성 모델이... 음성을 텍스트로 사용할 것인가? 이 모델이 오디오 채널이 아닌 것과 어떻게 상호작용합니까?" 관련 댓글 작성자는 음성-음성 설계가 훈련된 것에 묶여 있을 것이라고 의심했습니다: "적절한 두뇌에 연결할 수 있다면 좋겠지만, 음성-음성은 훈련된 것에 고정되어 있다고 가정합니다."

접근성은 반복적인 불만이었습니다. 가장 직접적인 버전:

오픈 웨이트 아니면 일어나지 않은 것입니다.

댓글 작성자들은 온라인에서 테스트할 방법이 있는지, 영어 외의 언어에서 작동하는지(한 그리스어 사용자가 자신의 언어가 지원되는지 구체적으로 질문), llama.cpp에서 로컬로 실행할 수 있는지 물었습니다. 이러한 질문 중 어느 것도 캡처된 스레드에서 답변되지 않았습니다.

지배적인 우려: 사칭, 사기, 사회적 고립

가장 흔한 비판은 오디오 품질이 아니라 진정성 있는 실시간 음성이 가능하게 하는 것에 관한 것이었습니다. 스레드에서 설명된 가장 구체적인 시나리오는 대상의 목소리를 아는 사람들에 대한 사회 공학이었습니다:

더 나쁜 것은, 누군가 우리의 목소리를 녹음하고 이와 같은 모델을 미세 조정하여 우리의 목소리를 생성한 다음 가족에게 말을 걸어 속일 수 있다는 것입니다. 정말 문제가 될 것입니다.

한 시나리오: AI 음성 트레이너가 누군가의 소셜 미디어 비디오 게시물을 훈련시켜 꽤 완벽한 복제본을 얻습니다. 그런 다음 대상의 전화번호를 SIM 스와핑하고 도움이 필요하다고 속여 전화를 겁니다. AI는 몸값을 요구하거나, 보석금을 요청하거나, 프로덕션 서버의 변경을 요청하는 데 사용될 수 있습니다.

다른 사람들은 대화적 사실감 자체의 인간적 비용에 초점을 맞췄습니다:

인간 상호작용에 대한 이러한 충실도로 사람들이 AI 관계에 더 끌리고 인간 접촉을 대체할까 걱정됩니다... 이러한 충실도는 인간이 누구 또는 무엇과 말하고 있는지의 경계를 흐리게 하고, 인간이 '사회화'하고 있다고 믿는 고립된 세계로 빠지게 합니다.

기술적으로 매우 인상적이지만, 기계와의 가짜 대화는 저에게 민망했습니다. 관심을 가장하는 것이 저를 대화하고 싶게 만들지 않습니다.

데모 세트에는 AI 동반자 예시가 포함되어 있습니다. 한 댓글 작성자는 세 번째 예시의 시작 부분에 있는 "Hey, baby"를 인용하고 "Block이 AI 여자친구 시장에 진출? 윽."이라고 반응했습니다. 또 다른 댓글 작성자는 AI 여자친구 사용 사례가 ChatGPT와 Dessa 간의 대화도 포함하는 목록에서 "세 번째 예시"로 보인다고 관찰했습니다.

한 댓글 작성자는 전체 범주가 추론 보조 도구보다는 사칭 기술로 이해되는 것이 가장 좋다고 주장했습니다: "최근 음성 관련 기술의 대부분은 음성을 인터페이스나 상호작용 모드로 사용합니다... 이 모델은 분명히 그렇게 똑똑하지 않습니다. 그래서 음성이 핵심이며, 그 외에는 가치가 거의 없습니다. 적어도 단독으로는. 그것이 합쳐지면 사칭입니다."

타임라인에 대한 회의론도 제기되었습니다. 한 댓글 작성자는 음성 인터페이스가 5~10년 내에 5분 튜링 테스트를 통과할 수 있다고 추정하면서, 현재 LLM은 확장된 추론 시간 없이 설득력 있는 대화형 지연 시간에 비해 "한 자릿수 너무 느리다"고 주장했지만, "오늘날 시스템은 많은 응용 프로그램에 충분히 좋다"고 인정했습니다.

댓글 작성자들이 합법적인 가치를 본 곳

논의된 모든 사용 사례가 적대적인 것은 아니었습니다. 가장 발전된 건설적 주장은 언어 학습이었습니다:

이것은 언어 교육에 매우 가치가 있습니다. 항상 대화 상대에 대한 온디맨드 접근이 있는 것과 같습니다. 그러나 당혹감 요소, 인내심, 강사 시간 낭비에 대한 걱정이 없습니다. 모델이 음성-텍스트 추가 기능이 아닌 전적으로 오디오로 훈련되었기 때문에 인간에게 매우 높은 품질의 피드백과 훈련을 제공할 수 있습니다. 그리고 실행 비용이 저렴합니다.

긴 댓글은 표현력 있고 상호작용적인 오디오북을 상상했습니다. 사용자가 방해할 때 멈추는 내레이터, 캐릭터에 대한 질문에 반응하고, 사용자가 잠들 때 볼륨을 조정하고, 몇 년 후에도 선호도를 기억하는 내레이터, 게임 내레이션과 지속적인 게임 내 동반자를 포함합니다.

다른 사람들은 2018년에 전화로 약속을 예약한 시스템인 Google Duplex의 역사적 유사성을 지적했으며, 한 댓글 작성자는 Google이 몇 년 전에 그 효과를 어떻게 달성했는지 물었습니다.

토론이 확립하지 못한 것

몇 가지 기본 사실은 스레드에서 결코 해결되지 않았습니다: 모델의 아키텍처와 매개변수 수, 측정된 지연 시간, 가중치나 API가 공개될지 여부, 지원되는 언어, 도구를 호출하거나 비오디오 시스템에 연결하는 방법. 콘텐츠 품질에 대한 불만("스타일은 많고 내용은 거의 없음")과 음성 품질에 대한 열광("100% 속을 것입니다")은 모두 동일한 공개 데모 트랙에 대한 판단이며, 어느 쪽도 오디오 충실도 자체가 전이중 음성의 단계적 변화라는 것을 반박하지 않았습니다.