Dessa：Block 仅基于音频训练的全双工语音模型

Dessa 是 Block 的全双工语音模型，Hacker News 上的反应在惊叹音频效果与担忧其影响之间分裂

Dessa 是 Block（Square、Cash App 和 Afterpay 背后的公司）发布的对话式语音模型，仅基于语音训练，以全双工模式运行，因此可以在你说话的同时说话——并且根据讨论中引用的公告，它可以在 MacBook Pro M4 Max 或更高版本上本地运行。它在 Hacker News 上获得了 496 分和 187 条评论，评论者称演示音频是他们听过的最令人信服的合成语音，同时也认为该技术最明显的近期用途是冒充和欺诈。

关于来源的说明：链接页面（block.xyz/dessa）的抓取内容仅包含 Block 的隐私声明，没有产品描述，因此以下技术声明来自 Hacker News 讨论以及评论者从公告页面引用的内容。

公告页面据称声称的内容

最引人注目的声明是关于部署和训练成本，而不是模型架构。一位引用公告的评论者总结如下：

对话示例令人印象深刻，但这让我大声说出“天哪”：“它可以在 MacBook Pro M4 Max 或更高版本上本地运行。而且我们找到了仅用一个 NVIDIA GB200 NVL72 训练 Dessa 的方法。”如果它真的能在本地设备上复制这种低延迟和表现力，那对于“独立”AI 来说是一项了不起的成就。

这里捆绑了两个独立的声明：在消费级 Apple Silicon 上的高效本地推理，以及在单个 NVIDIA GB200 NVL72 机架级系统上的训练。对于输出被实时评价为逼真的模型来说，这两者都不同寻常。

Hacker News 的提交标题是“Dessa：有史以来最真实的全双工语音模型”，而页面本身的标题是“Dessa - 仅基于语音训练的对话模型”。至少有一位评论者反对这种最高级框架，以及提交耸人听闻标题然后被版主修改的模式：

此外，在 HN 上先发布更耸人听闻的标题，登上首页，然后被版主调整标题的趋势应该受到惩罚；'最真实'怎么不是营销术语？

全双工意味着模型与你同时说话，而不是轮流说话

全双工语音模型同时生成和消费音频，因此它可以重叠、反馈和打断，而不是像传统语音助手管道那样等待轮次边界。Dessa 的演示大量依赖这种行为，而这正是反应分裂的地方。

最强烈的认可将音频视为与真人无法区分：

是的，如果这是真的，这比任何其他东西都好一个数量级，老实说感觉不可能是真的，因为它太真实了，我会 100% 被愚弄，永远不会怀疑它不是真人

另一位评论者以同样的方式描述了这种效果：

仅从示例中，我绝对无法检测出这是 AI。如果我接到使用这种技术的恶意代理的电话，我可能不会意识到。

反驳观点是重叠过度——模型为了展示能力而打断：

这些双向/全双工演示对我来说总是显得过于做作。模型能与你同时说话而不是轮流说话很酷，但训练它尽可能多地打断并不是正确的方式。在第一个示例中，有人觉得“冬天”答案后的笑声令人信服吗？有什么必要？为什么人类说话者不能在模型接管独白之前说完一句话或一个想法？

一个相关的批评认为，对话内容在表达之下很单薄：

这感觉像是一个把戏，AI 被训练来模仿非正式的电话举止。实际对话相当糟糕。主要是风格，没有太多实质内容。

几位评论者指出，发布的示例对话中人类一方听起来不如模型一方自然，一位评论者直接观察到：“我觉得它听起来有点生硬和奇怪，然后我意识到那是对话的人类一方。”

训练数据问题：仅从语音中模型能学到什么？

由于 Dessa 是基于音频而非文本训练的，它不是附加在 LLM 上的语音转文本步骤。评论者认为这是其表现力的来源——也是其局限性的来源。

对我来说有趣的是，仅基于语音训练是让模型学习情感的原因——语音传递了大量文本无法捕捉的情感信息。语言只有有限数量的情感词汇——可能只有峰值——但还有更多我们无法通过文本描述或传递的情感。

另一个线程询问，一个语音原生模型是否真的建模声音而不是单词：

真正的问题是，它真的理解声音吗？传统 LLM 只是运行语音转文本，然后在文本上工作，所以它们无法理解音乐、哼唱或任何类型的声音。

评论者还推测了演示音频的语料库。一位从简短聆听猜测是播客；另一位说声音“确实像人类说话，但以一种做作的不自然方式”。一个具体的失败模式被指出：模型在纠正前将电影《记忆碎片》称为“The Mento”，这引发了一个问题：仅语音模型使用什么分词。

模型流畅但知识不足的抱怨在讨论中反复出现。一位评论者说“主要是风格，没有太多实质内容”；另一位将输出描述为听起来“像青少年的意识流”。另一位将这种权衡视为有意的：“它不需要像 SOTA LLM 那样聪明。这里已经有大量价值。你可以将它附加到另一个系统上以获得深度智能。”

计算效率：一个 GB200 NVL72 是有趣的数字吗？

训练成本的声明引发了讨论中最具前瞻性的问题——同样的效率是否能转移到文本模型，后者通常消耗更多计算资源：

“我们找到了仅用一个 NVIDIA GB200 NVL72 训练 Dessa 的方法。”这是疯狂的部分。它看起来相当聪明，而 LLM 需要 1000 倍的计算量来训练。这种效率能否也以某种方式在文本上实现？

讨论中没有建立答案。一个相关的观察指出，语言模型必须获得远不止对话英语的知识：“LLM 需要大量的文本。Dessa 从少几百倍的单词中学习了语言（公平地说，LLM 还必须学习 C++ 和 Angular 之类的东西）。”

集成差距：工具调用、代理和访问

如果 Dessa 是一个语音到语音模型，它如何与世界互动？一位评论者指出工具调用是演示和代理之间的实际分界线，认为 gpt-live-1 之所以引人注目，正是因为它可以用作实用代理。

全双工模型总是有一个问题是工具调用。这就是 GPT-Live 的闪光点，你可以将它用作完全实用的代理。期待看到 Dessa 团队如何实现这一点。

其他人直接询问模型如何访问非音频通道：“如果你真的想让你的‘AI’与任何数字事物互动，这些语音到语音模型会……使用语音转文本吗？这个模型如何与非音频通道互动？”一位相关评论者怀疑语音到语音设计受限于训练内容：“如果能将其接入一个合适的‘大脑’会很好，但我假设语音到语音意味着它固定于训练时的内容。”

可用性是一个反复出现的抱怨。最直接的版本：

开放权重，否则就是没发生。

评论者询问是否有任何在线测试方式，是否支持英语以外的语言（一位希腊语使用者特别询问他们的语言是否受支持），以及是否可以在本地 llama.cpp 中运行。这些问题在捕获的讨论中都没有得到回答。

主要担忧：冒充、诈骗和社交隔离

最常见的批评不是关于音频质量，而是关于逼真的实时语音所实现的可能性。讨论中描述的最具体场景是针对熟悉目标声音的人的社会工程攻击：

更糟糕的是，有人可以录制我们的声音，微调这样的模型，使其能生成我们的声音，然后与我们的家人交谈以欺骗他们。这会很麻烦。

一个场景：AI 语音训练器在某人社交媒体视频帖子上训练，得到相当完美的副本。然后 SIM 卡劫持目标电话号码，打电话假装需要帮助。AI 可能被用来模拟勒索、请求保释金、要求更改生产服务器等。

其他人关注对话真实性本身的人类成本：

我确实担心这种对人类互动的保真度会让人们更沉迷于 AI 关系并取代人类接触……这种保真度模糊了人类与谁或什么交谈的界限，让人类陷入一个孤立的世界，他们相信自己正在“社交”。

技术上非常令人印象深刻，但对我来说，与机器的假对话令人尴尬；这种假装关心并不让我想交谈。

演示集包括一个 AI 伴侣示例——一位评论者引用了第三个示例开头的“嘿，宝贝”，并反应“Block 在 AI 女友市场？恶心。”另一位评论者观察到 AI 女友用例似乎是列表中的“第三个示例”，列表中还包括 ChatGPT 和 Dessa 之间的对话。

一位评论者认为整个类别最好被理解为冒充技术，而不是推理辅助：“最近大多数语音相关技术使用语音作为界面或交互模式……这个模型显然不太聪明。所以语音是重点，除此之外没有太多价值，至少单独来看。这加起来就是冒充。”

对时间线的怀疑也被提出。一位评论者估计语音界面可能在五到十年内通过五分钟图灵测试，认为当前 LLM“对于令人信服的交互延迟来说慢了一个数量级”，除非有扩展推理时间，同时承认“系统今天已经足够好，适用于许多应用。”

评论者看到合法价值的地方

并非所有讨论的用例都是对抗性的。最成熟的建设性论点是语言学习：

这对语言教育极其有价值。这就像随时按需访问对话伙伴。但没有尴尬因素、耐心或担心浪费老师时间的顾虑。因为模型完全基于音频训练，而不是语音转文本附加组件，你可以提供人类高质量反馈和训练。而且运行成本低。

一条长评论想象了富有表现力的交互式有声书——叙述者在你打断时暂停，对角色问题做出反应，在你睡着时调整音量，多年后记住你的偏好——以及游戏叙述和持久游戏内伴侣。

其他人指出了 Google Duplex 的历史回声，2018 年通过电话预约的系统，一位评论者问 Google 如何在多年前实现这种效果。

讨论未确定的内容

几个基本事实在讨论中从未确定：模型的架构和参数数量、测量延迟、是否会发布权重或 API、支持哪些语言，以及如何调用工具或连接到非音频系统。关于内容质量的抱怨——“主要是风格，没有太多实质内容”——和关于语音质量的热情——“我会 100% 被愚弄”——都是对同一发布演示轨道的判断，双方都没有争议音频保真度本身是全双工语音的一个阶跃变化。