OpenAI 与 Cerebras 合作实现低延迟推理
OpenAI 已与 Cerebras 合作,将其专用 AI 系统集成到其推理栈中,以降低延迟并加速模型输出。此次合作旨在实现实时 AI 交互,允许用户处理更高价值的工作负载并进行更自然的交互。
计算策略与低延迟推理
OpenAI 的计算策略侧重于构建一个具有韧性的组合,将特定系统与特定工作负载相匹配。通过集成 Cerebras 的硬件,OpenAI 正在为其平台增加一个专用的低延迟推理解决方案。这使得用户在生成代码、创建图像或运行 AI 代理时能够获得更快的响应,从而缩短了请求与响应之间的循环。
Cerebras 硬件架构
Cerebras 通过利用结合了海量计算、内存和带宽的单个巨型芯片来实现高速推理。这种架构消除了传统硬件中常见的瓶颈,专门设计用于加速 AI 模型的长输出。
部署时间线与实施
OpenAI 将分阶段将其低延迟能力集成到其推理栈中,并在各种工作负载中进行扩展。该能力将在 2028 年之前分多个批次上线。
高管观点
"OpenAI 的计算策略是构建一个具有韧性的组合,将合适的系统与合适的工作负载相匹配。Cerebras 为我们的平台增加了专用的低延迟推理解决方案。这意味着更快的响应、更自然的交互,以及为向更多人扩展实时 AI 提供更强大的基础," OpenAI 的 Sachin Katti 表示。
"我们很高兴能与 OpenAI 合作,将世界领先的 AI 模型带到世界上最快的 AI 处理器上。正如宽带改变了互联网一样,实时推理将改变 AI,从而实现构建和与 AI 模型交互的全新方式," Cerebras 联合创始人兼 CEO Andrew Feldman 表示。
Sources
- OriginalOpenAI partners with Cerebras
相关
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch