AMD 收购 Taalas 以实现用于 AI 推理的模型特定集成电路

AMD 收购了总部位于多伦多的 AI 芯片初创公司 Taalas，旨在通过实施一种截然不同的推理方法来挑战 Nvidia 在 AI 硬件领域的统治地位。与传统的 GPU 或数据流架构不同，Taalas 利用模型特定集成电路 (MSICs) 将模型权重直接刻蚀在硅片上，从而消除了推理过程中存储权重的对高带宽内存 (HBM) 的需求。

推理吞吐量的巨大提升

通过消除内存带宽瓶颈，将模型权重刻蚀在硅片上可以大幅提高 token 生成速度。

Taalas 的第一款测试芯片 HC1（采用 TSMC 的 6nm 工艺制造）展示了为 Meta 的 Llama 3.1 8B 提供服务的能力，速度达到每秒 16,960 个 token。在发布时，这一性能大约比 Nvidia GPU 快 48 倍，比 Cerebras 加速器快 8.5 倍。

硬件架构

Taalas 处理器分为两个主要功能区域：

• Mask-ROM Recall Fabric: 这是模型权重被永久刻蚀在硅片上的地方。
• SRAM Recall Fabric: 该区域存储 KV caches 和微调适配器，从而在权重固定的情况下仍能保持一定程度的灵活性。

扩展至大模型

对于第二代 HC2 芯片，Taalas 旨在支持每芯片高达 200 亿个参数。为了支持万亿参数模型，AMD 可以利用流水线并行技术将权重分布到多个加速器上。对于一个万亿参数模型，大约需要 50 个 HC2 加速器。这种方法比目前的机架系统（例如 Nvidia 的 LPX）更具空间和功耗效率，后者需要数千个 LPU 来实现类似的结果。

战略性集成至 AMD Helios Racks

AMD 打算将基于 Taalas 的加速器与基于 Instinct 的 Helios 机架相结合，创建一种解耦架构。在这种设置下，计算密集型的 prompt 处理由 GPU 处理，而高速 token 生成则被分流到 Taalas MSICs。

AMD 还可能实施“tick-tock”部署策略：客户首先在灵活的 Instinct 加速器上验证模型，然后一旦模型定型，就过渡到 Taalas 加速器以进行生产规模的高性能推理。

权衡：灵活性 vs. 性能

MSICs 的主要缺点是缺乏灵活性。由于权重被刻蚀在硅片上，任何重大的模型更新都需要进行硬件重新设计 (re-spin)。

缓解措施与成本

为了降低更新的成本和时间，Taalas 声称仅需更改两层金属层即可进行重新设计，而不是从头开始制造过程。此外，该公司建议，将权重刻蚀在硅片上比最初训练前沿模型 (frontier model) 的成本要低 100 倍。

目标使用场景

由于硬件的刚性，这项技术最有可能被以下群体采用：

• 前沿模型开发者: OpenAI、Anthropic 和 Meta 等拥有稳定、高流量模型的公司。
• 基础设施提供商: 寻求降低每个 token 成本的大规模推理提供商。
• 嵌入式系统与 IoT: 机器人技术和边缘设备，其中低延迟、本地推理至关重要且模型更新频率较低。

对 AI 开发和 UX 的影响

推理速度的提升可能会从根本上改变 AI 模型的使用和开发方式：

• 测试时扩展 (Test-Time Scaling): 模型开发者可以允许模型“思考”更久（测试时扩展）以减少幻觉并提高准确性，而不会让用户等待过长时间。
• 多智能体编排 (Multi-Agent Orchestration): 极高的每秒 token 数 (TPS) 使得可以使用数十个或数百个专门的子智能体来实时验证和纠正输出，而不会牺牲感知的延迟。
• n 种新的 UX 模式: 高速推理可以实现“边打字边查找”的 AI 交互以及所有数字信息的实时增强。

社区观点与技术分析

行业观察家和开发者针对 Taalas 收购案提出了几个关键点：

"模型很烂，但速度惊人……推理和工具使用生成规模随 TPS 扩展。想象一下，在模型上进行 100 倍的推理，或者 100 倍并行的工具使用。"

批评者指出，SOTA (State-of-the-Art) 模型的快速更迭是主要风险。有人认为，在硅片制造完成之前，模型可能就已经过时了。然而，支持者认为，对于特定业务场景的“足够好”的模型，可以将其固化在“黑盒”硬件中，用于私有、高速、本地研究和数据处理。

其他技术观察还包括，如果这些芯片以模块化插槽（例如 ZIF 接口或 USB-C 加速器）的形式实现，它们可能具有作为“加强版 FPGA”的功能，允许用户像更换硬件模块一样物理地更换模型。