Gemini Decision 1 和 Decisions API 发行说明

概述

Google 推出了由全新的 Gemini Decision 1 模型驱动的 Gemini Decisions API。该服务专为高吞吐量、低延迟的分类任务而设计,允许开发者在单次前向传递中针对多模态输入评估多达 1,000 个问题,包括“是/否”、多项选择和基于准则的评分。通过绕过逐个 token 生成的过程,该 API 实现了 150-250 毫秒的端到端延迟。

核心能力与架构

Gemini Decision 1 模型构建于原生多模态架构之上,使其能够同时处理文本、图像、音频、视频和 PDF 文档。与输出文本的标准生成式模型不同,Decisions API 返回的是针对定义类别的概率和置信度分数。

关键决策类型包括:

  • noul (是/否): 估计条件为真的概率。
  • choice (多项选择): 从 2 到 255 个选项中进行选择,并提供归一化概率。
  • score (有序准则): 根据预定义的准则分配连续的加权分数。

由于该模型不执行逐个 token 的解码,因此在分类任务中效率显著提高。用户按每 100 万输入 token 0.10 美元计费,且不对输出 token 收费,这使其成为高容量决策工作流中一种经济高效的替代方案。

行业应用

Google 目前正在多个内部产品中使用 Decisions API 作为低延迟控制平面:

  • 模型路由: Gemini Notebook 使用该 API 对用户意图进行分类,并将查询路由到适当的模型层级,从而降低简单任务的延迟。
  • 设计迭代: Stitch 设计工具使用该 API 处理语音和点击输入,以实时更新线框图。
  • 安全与审核: Google Search 使用该 API 在严格的延迟限制内检测对抗性内容和行为。

社区见解与讨论

开发者对该 API 独特的多模态支持及其在决策模型中表现出的竞争性能给予了关注。虽然一些用户指出其定价高于专业替代方案,但能够直接摄取音频和视频被视为一个重要的差异化优势。

"这似乎是第一个真正能处理音频、视频和 PDF 的决策 AI,我很惊讶这一点没有被到处强调……我怀疑没人会因为高出 2% 的分数而选择它,但能够基于 PDF 或通话内容进行回答是开创性的。" — @handle

一些社区成员提出了关于是否需要专用决策 API 而非使用标准 LLM 的疑问,而另一些成员则对未提及早期 "Jev" 式决策 API 的影响表示关切。技术用户还指出了 API 提供的置信度分数的重要性,这些分数允许在模型置信度较低时自动将任务路由给人工审核员。

Sources

相关

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch