Flower SuperGrid Agents: 協調ネットワークを通じたAIのスケーリング

Flower SuperGrid Agents: 協調ネットワークを通じたAIのスケーリング

協調型AIの最前線

協調型AIは、データを中央の計算クラスターに移動させる中央集権的なAIから、計算をデータへと移動させる分散型のアプローチへの転換を表しています。このパラダイムシフトは、世界の高品質なデータの大部分がプライベートなサイロ内に存在しているため、必要不可欠です。公開されている英語のウェブデータは約15兆トークンですが、推定2,000兆トークンがプライベートなサイロ内に未使用のまま残されており、現在利用可能なデータの1%未満しか基盤モデルのトレーニングには利用されていないことを意味します。

個々のサイロを大きくするのではなく、協調ネットワークを構築することで、組織は水平方向にスケールさせることができます。これにより、独自のデータを持つ非AIネイティブ企業が、単一のエンティティが単独では所有していないリソースを使用してモデルをトレーニングすることで、競争力を獲得できるようになります。

Flower SuperGrid: 分散型AIプラットフォーム

Flower SuperGridは、分散型AIシステムのデプロイを簡素化するために設計された基盤レイヤーです。従来、このようなシステムの構築には、オンボーディングや設定のために数百もの手動ステップが必要でした。SuperGridは、flower.aiにあるユーザーフレイリーなインターフェースを介して、この複雑さを数クリックにまで軽減します。

主要な技術的能力

  • Supernodes: データサイロ上で動作し、分散ワークロードを実行する個々のノード。
  • Superlink: 実際のデータは保持せず、ネットワークを管理するコーディネーター。
  • Heterogeneous Confidential Compute: 単一のシステム内で異なるベンダーの機密コンピューティング（confidential compute）を使用することを可能にする初の統合。これはワークロードのスケーリングにおいて重要な要件です。
  • Flower Hub: 信頼とレビューのシステムを備えた、分散型アプリのためのコミュニティ主導のリポジトリ。
  • Isolation and Auditability: コンポーネント間の監査可能な通信と、LLMトレーニングのための大規模なモデルウェイトのストリーミングをサポートする強力な分離モデル。

Project Kaya: 協調型AIエージェント

現在のAIエージェントのほとんどは、公開ウェブデータまたは単一組織のプライベートデータに限定されています。Project Kayaは、SuperGrid上に構築された協調型AIエージェントであり、エージェントが異なる組織やデータサイロを越えて通信し、単一のエージェントでは解決できないタスクを解決できるようにします。

協調型エージェントの仕組み

  1. Task Decomposition: コーディネーターエージェントがユーザーのタスクを分解し、個々のsupernodesへメッセージを送信します。
  2. Autonomous Participation: Supernodesは完全に自律的です。独自のガバナンス原則に基づき、リクエストの受諾または拒否を決定できます。
  3. Local Processing: Supernodes上のエージェントは、データが敷地内から離れることなく、ローカルデータを使用してリクエストを処理します。
  4. Controlled Response: Supernodeオペレーターは、レスポンスがコーディネーターに返される前に、機密情報を確認し、拒否することができます。
  5. Aggregation: 中央のエージェントが、参加しているsupernodesからの結果を集約し、ユーザーに最終的な回答を提供します。

SuperGrid Frontier: 分散型トレーニングパイプライン

ローカルデータを使用してエージェントを改善するために、Flower LabsはSuperGrid Frontierという分散型トレーニングパイプラインを提供しています。これにより、「データは移動させず、学習内容のみを移動させる」という原則に基づき、基盤となるデータを移動させることなく大規模なモデルのトレーニングが可能になります。

トレーニングの節目と研究

  • Communication Efficiency: SuperGrid Frontierは、分散トレーニングの実行中に通信コストを最大1,000倍削減できることを実証しました。
  • Llama 7B (UK Edition): Flower Labsは、SuperGrid Frontierパイプラインを使用してトレーニングされた、特に英国向けに最適化されたオープンウェイトのLlama 7Bモデルをリリースしました。
  • Large-Scale Collaboration: 米国エネルギー省およびSandia National Labsとの提携により、Flower Labsは現在、3つの異なるサイトに分散して700億パラメータのLLMを分散トレーニングしています。
  • Academic Contributions: ICLR 2025で発表された研究には、言語モデルの事前学習のためのデカップリングされた埋め込み（decoupled embeddings）と、LLMの連邦事前学習のための"Photon"に関する研究が含まれます。

Flower Ecosystemの概要

Flower Labsは、3つの統合された構成要素を通じて「協調型超知能」を推進しています。

| Component | Purpose | | :--- | :--- | | | Flower SuperGrid | 分散データ上でワークロードを実行するための分散型AIプラットフォーム。 | | Project Kaya | ネットワークを越えて通信し、推論を行うことができる協調型エージェント。 | | SuperGrid Frontier | プライベートなデータ上でモデルを構築するための分散型トレーニングパイプライン。 |

Sources