Flower SuperGrid Agents: 협업 네트워크를 통한 AI 확장

Flower SuperGrid Agents: 협업 네트워크를 통한 AI 확장

협업 AI의 프런티어

협업 AI는 데이터를 중앙 계산 클러스터로 이동시키는 중앙 집중식 AI에서, 계산을 데이터로 이동시키는 분산형 접근 방식으로의 전환을 의미합니다. 이러한 패러다임 전환은 전 세계 고품질 데이터의 대다수가 개인용 사일로(silo)에 존재하기 때문에 필수적입니다. 공개된 영어 웹 데이터는 약 15조 개의 토큰으로 구성되어 있지만, 약 2,000조 개의 토큰이 개인용 사일로에 사용되지 않은 채 남아 있어, 현재 가용 데이터의 1% 미만이 파운데이션 모델 학습에 활용되고 있음을 의미합니다.

더 큰 개별 사일로를 구축하는 대신 협업 네트워크를 구축함으로써 조직은 수평적으로 확장할 수 있습니다. 이를 통해 고유한 데이터를 보유한 비 AI 네이티브 기업들이 단일 엔티티가 고립되어 보유하지 못한 리소스를 사용하여 모델을 학습시킴으로써 경쟁력을 갖출 수 있습니다.

Flower SuperGrid: 분산형 AI 플랫폼

Flower SuperGrid는 분산형 AI 시스템의 배포를 단순화하기 위해 설계된 기초 레이어입니다. 전통적으로 이러한 시스템을 구축하려면 온보딩 및 구성을 위해 수백 개의 수동 단계가 필요했습니다. SuperGrid는 flower.ai의 사용자 친화적인 인터페이스를 통해 이 복잡성을 몇 번의 클릭만으로 줄여줍니다.

주요 기술적 역량

  • Supernodes: 데이터 사일로에서 실행되는 개별 노드로, 분산된 워크로드를 실행합니다.
  • Superlink: 실제 데이터를 보유하지 않고 네트워크를 관리하는 코디네이터입니다.
  • Heterogeneous Confidential Compute: 단일 시스템 내에서 서로 다른 벤더의 기밀 컴퓨팅(confidential compute)을 사용할 수 있도록 허용하는 최초의 통합으로, 워크로드 확장에 필수적인 요구 사항입니다.
  • Flower Hub: 신뢰 및 리뷰 시스템을 갖춘 분산형 앱을 위한 커뮤니티 주도형 저장소입니다.
  • Isolation and Auditability: 구성 요소 간의 감사 가능한 통신과 LLM 학습을 위한 대규모 모델 가중치 스트리밍을 지원하는 강력한 격리 모델입니다.

Project Kaya: 협업 AI 에이전트

대부분의 현재 AI 에이전트는 공개 웹 데이터나 단일 조직의 개인용 데이터에 국한됩니다. Project Kaya는 SuperGrid를 기반으로 구축된 협업 AI 에이전트로, 에이전트들이 서로 다른 조직이나 데이터 사일로를 가로로 통신하여 단일 에이전트가 혼자서는 해결할 수 없는 과업업을 해결할 수 있게 합니다.

협업 에이전트의 작동 방식

  1. Task Decomposition: 코디네이팅 에이전트가 사용자 과업을 분해하고 개별 supernodes에 메시지를 보냅니다.
  2. Autonomous Participation: Supernodes는 완전히 자율적입니다. 자신의 거버넌스 원칙에 따라 요청을 수락하거나 거부할 수 있습니다.
  3. Local Processing: Supernodes의 에이전트들은 데이터가 현장을 떠나지 않고도 로컬 데이터를 사용하여 요청을 처리합니다.
  4. Controlled Response: Supernode 운영자는 응답이 코디네이터에게 전달되기 전에 민감한 정보를 검토하고 거부할 수 있습니다.
  5. Aggregation: 중앙 에이전트는 참여하는 supernodes의 결과를 집계하여 사용자에게 최종 답변을 제공합니다.

SuperGrid Frontier: 분산형 학습 파이프라인

로컬 데이터를 사용하여 에이전트를 개선하기 위해, Flower Labs는 분산형 학습 파이프라인인 SuperGrid Frontier를 제공합니다. 이를 통해 "데이터는 절대 이동하지 않으며, 오직 학습 내용만이 이동한다"는 원칙을 준수하며 기초 데이터를 이동시키지 않고 대규모 모델을 학습시킬 수 있습니다.

학습 마일스톤 및 연구

  • Communication Efficiency: SuperGrid Frontier는 분산형 학습 실행 중 통신 비용을을 1,000배까지 절감할 수 있음을 입증했습니다.
  • Llama 7B (UK Edition): Flower Labs는 SuperGrid Frontier 파이프라인을 사용하여 학습된, 영국에 최적화된 오픈 웨이트 Llama 7B 모델을 출시했습니다.
  • Large-Scale Collaboration: 미국 에너지부(US Department of Energy) 및 Sandia National Labs와의 파트너십을 통해, Flower Labs는 현재 세 곳의 서로 다른 사이트에서 분산형으로 700억 개의 파라미터 규모의 LLM을 학습시키고 있습니다.
  • Academic Contributions: ICLR 2025에 발표된 연구에는 언어 모델 사전 학습을 위한 디커플링된 임베딩(decoupled embeddings)과 LLM의 연합 사전 학습을 위한 "Photon"에 관한 연구가 포함됩니다.

Flower Ecosystem의 요약

Flower Labs는 세 가지 통합된 빌딩 블록을 통해 "협업적 초지능"을 추진하고 있습니다.

Component Purpose
Flower SuperGrid 분산된 데이터 위에서 워크로드를 실행하기 위한 분산형 AI 플랫폼입니다.
Project Kaya 네트워크를 가로로 통신하고 추론할 수 있는 협업 에이전트입니다.
SuperGrid Frontier 개인용 데이터 위에서 모델을 구축하기 위한 분산형 학습 파이프라인입니다.

Sources