Mercury 3:Inception 的扩散式 LLM 以每秒 1068 个 token 运行,支持 100 万 token 上下文

Inception Labs 发布了 Mercury 3,并称其为迄今为止能力最强的扩散式 LLM。该公司声称 Mercury 3 在基准测试中优于 GPT-6 Luna 和 Claude Haiku 5.5,同时运行速度快 4 到 8 倍,每秒处理 1000+ 个 token,并将该模型视为文本扩散与自回归语言模型具有相同扩展方式的证明。

Mercury 3 概览

Mercury 3 是一款扩散式 LLM,在 NVIDIA GPU 上以每秒 1068 个 token 的速度提供服务,支持 100 万 token 上下文窗口,其发布定价低于它所对比的速度优化前沿模型。

规格 Mercury 3
模型类型 基于扩散的 LLM
速度 在 NVIDIA GPU 上每秒 1068 个 token
上下文窗口 100 万 token(从 Mercury 2.5 的 260K 提升)
标准价格 每 100 万输入 token 0.20 美元,每 100 万输出 token 0.70 美元
发布价格 每 100 万输入 token 0.10 美元,每 100 万输出 token 0.35 美元(5 折优惠)
缓存 token 输入价格优惠 90%
可用性 Inception API 平台、OpenRouter、Baseten、Vercel
API 兼容性 兼容 OpenAI API
免费额度 在 Inception 平台上提供 1 亿个免费 token

Inception 表示,在质量基准测试中,Mercury 3“与 GPT-6 Luna 和 Claude Haiku 5.5 等速度优化前沿模型持平或更优”。这些是该公司自己的基准测试结果;公告并未在抓取的文本中公布底层评估方法。

扩展声明:扩散模型的扩展方式与自回归模型相同

公告的核心论点是,扩散式 LLM 遵循扩展定律,而不仅仅是自回归模型。Inception 表示,Mercury 3 的总参数比 Mercury 1 大 40 倍以上,并且在一系列标准基准测试中,智能水平从 Mercury 1(mini)到 Mercury 3 提升了 3 倍。

当 Mercury 1 发布时,Inception 将其描述为“扩散式 LLM 可用于商业应用的第一个证明点”。据该公司称,当时悬而未决的问题是扩散模型能否扩展到在复杂用例中与自回归模型竞争。Inception 在 Mercury 3 公告中直接回答了这个问题:“它们可以。”

该公司得出的结论是:“推动自回归模型进步的扩展定律同样适用于扩散模型。”

生产部署与合作伙伴成果

Inception 表示,早期访问合作伙伴已经在延迟敏感型应用中运行 Mercury 3,包括浏览器使用代理、互动教育、实时搜索代理和客户支持。公告中包含了具名合作伙伴的推荐语和具体性能数据。

浏览器使用代理:TinyFish AI

Inception 认为,代理在每一步都要等待模型,因此小延迟会累积。它报告在自己的生产 Web 代理框架中,针对 50 个实时 Mind2Web 导航任务,将 Mercury 3 与前沿模型进行了对比。Mercury 3 完成了 50% 的任务,Inception 称这远超 GPT-6.1-Sol,同时使用相同的 token 量和相同的代理步骤数,而每 token 成本仅为前沿模型的一小部分。

TinyFish AI 联合创始人 Shuhao Zhang 表示,代理“能更快完成任务,并在回答前有更多时间尝试不同方法”。

互动教育:RevisionDojo

对于辅导和评分工作负载,Inception 声称 Mercury 3 能近实时响应。General Learning(又名 RevisionDojo)的联合创始人兼 CTO Michael Tong 表示,该模型“让我们在不放弃推理的情况下,为每位学生提供即时反馈”,提示、标记答案和定义“约一秒内”返回,质量“与我们之前运行的模型相当或更好”。他将其描述为“对我们现有技术栈的直接替换”。

实时搜索代理:Octen AI

Inception 表示,搜索应用延迟几秒就会让用户感觉无响应。在 Octen AI 的 Sense API 测试中,Octen 搜索耗时约 80 毫秒,模型生成是瓶颈。Octen AI 创始人兼 CEO Kuan Zou 表示,Mercury 3“在我们测试的快速模型中,在速度和质量的平衡上表现最佳”,生成时间中位数为 0.9 秒,端到端响应时间中位数为 2.2 秒。

客户支持:Lorikeet

Lorikeet 为受监管行业构建语音、聊天和电子邮件礼宾式支持,其技术团队成员 Michael Gribben 报告,在早期测试中,Mercury 3“在延迟方面击败了其他模型,同时在评估和生产环境中表现也更好”。

Mercury Voice 与 Mercury Decide

Mercury 3 是 Inception 面向实时 AI 的更广泛产品组合中的旗舰产品。公告中还提到了另外两款产品:

  • Mercury Voice 专为超低延迟语音应用和最小化首个回答 token 时间(TTFAT)而定制,而不仅仅是端到端延迟。Inception 表示,它已在 Audivi AI、Altur 和 OpenCall 为代理提供支持。
  • Mercury Decide 是一款为高吞吐量分类而构建的决策模型。Inception 声称它在 JevBench 和 LegalBench 等基准测试上优于 Jev。

可用性与定价

Mercury 3 今天可在 Inception API 平台以及 OpenRouter、Baseten 和 Vercel 上使用。它兼容 OpenAI API,因此 Inception 表示它可以无重写地集成到现有技术栈中。企业部署支持专用容量、自动扩展、合规控制和可配置的数据保留策略。

Inception 提供 1 亿个免费 token 供试用 API,此外还提供位于 chat.inceptionlabs.ai 的聊天界面。

Hacker News 评论者的观点

Hacker News 上的讨论(176 分,71 条评论)混合了实践报告、对基准测试比较的怀疑以及对开放权重的疑问。

实践体验大多积极

一位名为 Escapado 的评论者报告,使用 Mercury 3 构建了一个 macOS Swift UI 应用,用于 OCR 和翻译,花费约 45 分钟进行提示词设计,使用了 2600 万 token(其中 130 万未缓存),速度约为每秒 160 个 token:

“我让它为这个工具制定计划,并让它在大约 8 到 9 个步骤中端到端地实现。它最初弄错了坐标计算,但在我指出后迅速纠正了,除此之外,它在所有其他步骤上都一次性成功。”

GodelNumbering 在要求它为 UML 图构建 HTML 渲染器后表示,该模型“看起来比上一代明显更能干”,并指出它为每个主题选择了“不同且更护眼的配色方案”。UncleOxidant 在一个代码库上尝试后写道:“令人惊喜。”moonu 称其“比 2.5 版有了明显改进”,但希望模型能支持多模态。

对基准测试比较的怀疑

并非所有的实践报告都与宣传相符。snake_doc 表示,在 OpenRouter 上,“通过 together/baseten/fireworks 提供的 deepseek v4.1 flash 在延迟和智能方面仍击败了 mercury 3”,并补充说“mercury 的首 token 时间相当慢”。vatsachak 报告说,它“在我最喜欢的玩具数学谜题上不如 GPT 6.1-Sol 快”,并推测“智能消耗的 token 更少”。

jjaskulowski 对同台比较的方法论提出了异议:

“任何比较只有在你们——Mercury 和 Luna——使用相同的训练数据,然后进行相同的后处理和调整时才有意义。它很快,这很好。我支持。只是说我不知道如何评判。”

Google Gemini Diffusion 的问题

Simon Willison 指出,Inception 并不是唯一展示过扩散文本生成的实验室:

“我仍然不明白为什么 Google 去年对他们的 Gemini Diffusion 演示几乎没做任何推广。它真的很酷,速度也很快,然后就悄无声息了。他们几个月前确实发布了 Diffusion Gemma,但我也没看到它引起太大反响。”

dumberquestions 反驳了 Inception 拥有持久领先优势的观点:“如果大型实验室没有在做任何扩散实验,我会感到惊讶;如果他们做了,那么考虑到他们拥有多得多的计算资源,另一个实验室在扩散方面领先于他们也会让人惊讶。”

成本、开放权重与未解问题

2001zhaozhao 询问 Inception 是如何实现这一价格的,称如果基准测试成立,Mercury 3“相比 Haiku 5.5 和 GPT-6 Luna 是毫无疑问的选择”,并指出“Haiku 5.5 在超过 100k 上下文后价格上涨 5 倍,而这个模型在相同价格下支持 100 万上下文”。同一评论者补充说,发布后一段时间价格会翻倍,但仍远低于 Haiku 在超过 100k 请求时的价格。moecables 也表达了同样的担忧:“我想知道折扣取消后它是否还有用?”

SillyUsername 对开放权重表示失望:“该死,我一直在等待像这样的开放权重模型,还是没有。”UncleOxidant 也希望能看到“更多开放权重的扩散式 LLM(目前只有 diffusion gemma)”。

其他评论者提出了公告未回答的问题。loufe 询问实际模型规模以及训练与传统 LLM 有何不同。GodelNumbering 询问扩散模型需要阅读多少代码才能对代码库进行增量更改,以及它处理工具调用的能力如何。fraywing 询问这些模型是否“因其非线性生成 token 而更难推理”。davedx 想知道 Mercury 3 与 Jev 等决策模型相比竞争力如何,因为决策工作负载追求最大吞吐量。nkoren 指出,Inception 联合创始人 volodia 的一条评论在该帖中似乎被标记或已删除。

注意事项

本文中的性能、质量和成本数据来自 Inception Labs 自己的公告以及具名合作伙伴的推荐语。公告未披露模型参数量、训练数据或完整的基准测试方法。Hacker News 上独立评论者的报告结果不一,一些用户报告结果强劲,另一些用户则报告 DeepSeek v4.1 Flash 等竞争模型在第三方服务环境中的延迟与 Mercury 3 相当或更优。

Sources