Cosine AI 与主权前沿 AI 的必要性

Cosine AI 与主权前沿 AI 的必要性

主权 AI 的使命

美国对前沿 AI 模型的出口管制，特别是对名为 Fable 的系统的禁令，使得英国开发自身主权大语言模型 (LLM) 成为一种战略必然。Cosine 的 CEO 兼联合创始人 Alistair Pullen 解释说，依赖外包 AI 会造成一种脆弱性，即一个国家最强大的工具可能会因外交政策而被撤销。

为了解决这个问题，Cosine 已获得英国政府主权 AI 部门的支持，并在布里斯托的 Isambard 超级计算机集群上获得了关键的算力分配。这种政府支持的算力消除了初创公司面临的主要财务障碍——训练硬件的巨额成本——使 Cosine 能够在无需像美国实验室那样拥有数十亿美元预算的情况下，追求前沿规模的模型。

以百万而非数十亿的规模进行扩展

通过将业务模式从“推理公司”转变为“技术许可方”，可以在较小的预算下构建前沿模型。

避免推理开销

大多数美国前沿实验室花费数十亿美元在数据中心上，以托管其自身的 API 并管理 token 利润率。Cosine 通过将模型直接部署到高度安全、物理隔离或高安全级别的环境中（例如金融服务和国防）来避免这一点。客户要么在自己的 GPU 上运行模型权重，要么租用自己的超大规模云实例。通过许可技术而非销售 token，Cosine 消除了与大规模托管推理相关的巨额运营支出。

财团反馈循环

Cosine 利用由大型英国公司组成的财团，这些公司将真实的业务场景和需求直接反馈到训练过程中。这创造了一个针对性的反馈循环，使模型能够针对特定的国家和工业需求进行优化，而不是试图成为一个适用于整个全球互联网的通用工具。

前沿性能的架构要求

为了达到像 Claude (Sonnet/Opus) 这样的闭源模型的性能上限，Pullen 指出了三个关键的架构因素：

  1. 总参数量： 原始规模仍然是能力的基准。
  2. 活跃参数量： 在混合专家模型 (MoE) 中，前向传播过程中的活跃参数数量决定了模型的“感觉”和推理深度。Pullen 指出，尽管总规模相似，但稠密模型（如 Devstral 2）通常比活跃参数量较低的 MoE 模型（如 gpt-oss-120b）感觉更出色。
  3. 数据质量与轨迹： 虽然预训练语料库在模型达到 30 万亿 token 范围时会趋于收敛，但“alpha”在于后训练数据和大规模的强化学习 (RL)。

解决“Slop”并提高智能体可靠性

AI 编程中的“Slop”是指功能上正确但架构设计拙劣的代码——例如能够通过单元测试但增加了技术债务的“面条代码”。

奖励过程而非结果

传统的 RL 奖励模型如果单元测试通过（一个二进制的 1 或 0）。这会强化不高效或不安全的路径，只要最终结果是正确的。Cosine 正在在轨迹中实现“信用归因”，以识别导致成功结果的具体 token 或决策点。通过奖励过程（优雅的路径）而非仅仅是结果（通过测试），模型会学习形成可重用的抽象，而不是表面的统计相关性。

运行时证明作为代码审查

为了减轻 AI 生成代码审查的认知负担，Cosine 主张“漏洞利用验证”或运行时证明。与其让人员阅读 git diff，不如让系统在虚拟机中启动应用程序，并强制智能体证明其功能有效（或错误已修复）是在一个实时环境中。这使代码审查从手动阅读任务转变为功能证明的验证。

高级智能体编排：Swarm 系统

虽然随着模型在利用 bash 的能力方面变得越来越强，简单的智能体框架变得不再那么重要，但复杂的任务分解仍然需要编排。Cosine 的“Swarm”系统将子智能体编排推向了极致：

  • 层级结构： 一个顶层编排器将问题分解为子问题，交给“子规划器”，然后由它们管理一个扁平层的“执行者”。

  • 大规模并行： 在一个例子中，Cosine 使用 253 个子智能体在单次尝试中构建了一个机械表 SDK，包括物理引擎和 3D 查看器——这项任务对于任何单次运行的 LLM 来说都太复杂了。

  • 冲突管理： 为了防止智能体之间互相覆盖，系统对文件实施了写锁，并在当 swarm 集群中的另一个智能体编辑文件时提供上下文更新。

内存与合成数据的挑战

内存黑客手段

Pullen argues 认为当前的 AI 内存（VectorDBs, RAG）是一种“黑客手段”，因为智能体很难知道何时该查询内存或何时该写入内存。目标是通过持续学习将内存移入模型的潜空间 (latent space)，尽管由于 RL 过程中的奖励黑客行为和数据泄露，这仍然是一个技术挑战。

用于 RL 的合成评分器

为了对那些不是简单的错误修复任务（这些任务缺乏内置测试）进行 RL，Cosine 使用了一个流水线来合成“地面真值” (ground truths) 或评分器。通过将真实的业务功能开发工作转化为与实现无关的方式来验证功能正确性，他们可以为缺乏全面测试套件的语言和技术栈，如 SystemVerilog，生成 RL 数据。

Sources