Flower 超级网格代理：通过协作网络实现 AI 扩展
Flower 超级网格代理：通过协作网络实现 AI 扩展
协作 AI 前沿
协作 AI 代表了一种从集中式 AI（将数据移动到中心计算集群）向去中心化方法（将计算移动到数据所在位置）的转变。这一范式转变是必要的，因为世界上绝大多数高质量数据都存在于私有数据孤岛中。公开的英文网络数据约有 15 万亿个 token，而估计有 2,000 万亿个 token 仍然停留在私有孤岛中，这意味着目前用于基础模型训练的可用数据不到 1%。
通过构建协作网络而不是更大的单体孤岛，组织可以实现横向扩展。这使得拥有独特数据的非 AI 原生公司能够通过在单个实体无法独立拥有的资源上训练模型，从而具备竞争力。
Flower 超级网格：去中心化 AI 平台
Flower 超级网格是为简化去中心化 AI 系统部署而设计的基础层。传统上，构建此类系统需要数百个手动步骤进行接入和配置。超级网格通过 flower.ai 上的用户友好界面，将复杂度降低到几次点击即可完成。
关键技术能力
- 超级节点（Supernodes）： 在数据孤岛上运行的单个节点，执行分布式工作负载。
- 超级链接（Superlink）： 一个协调器，管理网络但不持有任何实际数据。
- 异构保密计算（Heterogeneous Confidential Compute）： 首个实现不同供应商保密计算在单一系统中共存的集成，是扩展工作负载的关键需求。
- Flower Hub： 一个社区驱动的去中心化应用仓库，具备信任与审查系统。
- 隔离性与可审计性： 强大的隔离模型，组件间通信可审计，并支持对大模型权重进行流式传输以进行 LLM 训练。
Project Kaya：协作 AI 代理
大多数现有 AI 代理仅限于公开网络数据或单一组织的私有数据。Project Kaya 是基于超级网格构建的协作 AI 代理，允许代理跨不同组织或数据孤岛进行通信，以解决单个代理无法独立完成的任务。
协作代理的工作方式
- 任务分解： 协调代理将用户任务拆解，并向各个超级节点发送消息。
- 自主参与： 超级节点完全自主；它们可以根据自身治理原则决定接受或拒绝请求。
- 本地处理： 超级节点上的代理使用本地数据处理请求，数据永不离开所在场所。
- 受控响应： 超级节点运营者可以在响应返回给协调者之前审查并拒绝敏感信息。
- 聚合： 中央代理汇总参与超级节点的结果，向用户提供最终答案。
超级网格前沿：去中心化训练流水线
为了使用本地数据改进代理，Flower Labs 提供了超级网格前沿（SuperGrid Frontier），这是一条去中心化训练流水线。它允许在不移动底层数据的情况下训练大模型，遵循“数据永不移动，只有学习成果移动”的原则。
训练里程碑与研究
- 通信效率： 超级网格前沿在去中心化训练过程中展示了高达 1,000 倍的通信成本降低。
- Llama 7B（英国版）： Flower Labs 发布了专为英国优化的开源权重 Llama 7B 模型，使用超级网格前沿流水线进行训练。
- 大规模协作： 与美国能源部和桑迪亚国家实验室合作，Flower Labs 正在三个不同地点去中心化训练一个 700 亿参数的 LLM。
- 学术贡献： 在 ICLR 2025 上发表的研究包括对预训练语言模型的解耦嵌入工作以及用于 LLM 联邦预训练的 “Photon”。
Flower 生态系统概览
Flower Labs 正在通过三个集成构件推动 “协作超级智能” 的发展：
| 组件 | 目的 |
|---|---|
| Flower 超级网格 | 用于在分布式数据上运行工作负载的去中心化 AI 平台。 |
| Project Kaya | 能在网络间通信和推理的协作代理。 |
| 超级网格前沿 | 用于在私有数据上构建模型的去中心化训练流水线。 |
摘要： Daniel Beutel（Flower Labs）介绍了 Flower 超级网格，这是一款去中心化 AI 平台，能够实现协作 AI 代理和去中心化训练流水线，从而释放目前被私有孤岛锁住的 99% 数据。
标题： Flower 超级网格代理：通过协作网络实现 AI 扩展