Human-Agent-Society/reef

Infrastructure for continually self‑improving agents

해결하는 문제

Reef는 AI 에이전트의 지속적인 개선을 자동화하기 위한 인프라를 제공합니다. 정적인 배포 대신, 에이전트가 자신의 상호작용으로부터 학습하는 피드백 루프를 생성하여 수동 개입 없이 시간이 지남에 따라 성능을 개선할 수 있도록 합니다.

작동 방식

Reef는 4단계 주기로 작동합니다:

  1. Serve (제공): 에이전트를 호스팅하고 모든 상호작용을 기록합니다.
  2. Observe (관찰): 피드백(점수나 수정 사항 등)을 수집하고 이를 특정 에이전트 응답과 연결합니다.
  3. Grow (성장): "레시피"를 사용하여 이 피드백을 처리하고, 새로운 모델 가중치를 학습시키거나 에이전트의 "하네스"(프롬프트, 규칙, 기술)를 개선하여 업데이트를 생성합니다.
  4. Commit (커밋): 이러한 업데이트를 평가하고 버전이 지정된 기록에 게시하여, 에이전트가 라이브 상태를 유지하면서 개선될 수 있도록 합니다.

대상 사용자

이 프로젝트는 자기 개선 기능을 구현하려는 자율 에이전트 개발자 및 연구자를 위한 것입니다. 특히 과학적 발견, 작업 스트림 학습 또는 실제 사용 피드백을 기반으로 적응해야 하는 에이전트를 연구하는 분들에게 유용합니다.

주요 특징

  • 이중 표면 진화: 모델 가중치 학습(GPU 스택 사용)과 하네스 최적화(모델 API 사용)를 모두 지원합니다.
  • 버전 관리: 에이전트 업데이트 버전을 자동으로 추적 및 관리하여 학습 과정 중 안정성을 보장합니다.
  • OpenAI 호환: 표준 OpenAI 및 Anthropic API 형식과 호환되는 추론 엔드포인트를 제공합니다.
  • 레시피 기반: 과학적 발견 및 지속적 학습과 같은 다양한 작업을 위한 사전 구축된 레시피 카탈로그가 포함되어 있습니다.

이 프로젝트를 다룬 글

관련

  • Dispatch
    Raven: 재귀적 자기 개선을 위한 하이든의 하이든

    Raven은 내장 및 제3자 에이전트를 조율하고, 런타임 중 자기 진화를 지원하며, 엔드투엔드 프로젝트 배달과 재귀적 자기 개선 벤치마크를 보여주는 오픈소스, 메모리 중심의 다중 에이전트 플랫폼입니다.

  • 프로젝트
    google-deepmind/reverb

    Reverb는 Linux 전용, Python 친화적인 라이브러리(고성능 C++ 백엔드 포함)로, 강화학습 연구를 위한 gRPC 기반의 분산 경험 리플레이 서비스를 제공합니다. 균일, 우선순위, FIFO 등 구성 가능한 샘플링/제거 전략을 가진 테이블을 정의할 수 있으며, 레이트 리미터와 용량 제한을 지원하고, 여러 서버 간 체크포인트 및 샤딩을 가능하게 합니다. `pip install dm-reverb[tensorflow]`로 설치하고 `reverb.Server`/`reverb.Client` API를 사용해 데이터 삽입 및 샘플링을 수행할 수 있습니다. 프로덕션용이 아니라 연구용이며, 특정 TensorFlow 버전에 강하게 종속되어 있습니다.

  • 프로젝트
    bytedance/deer-flow

    DeerFlow는 하위 에이전트를 조율하고, 도구(웹 검색, 샌드박스 코드 실행, RAG)를 사용하며, 메모리를 관리할 수 있는 자율 AI 에이전트를 구축할 수 있는 오픈소스 프레임워크입니다. 많은 LLM 공급자를 지원하고, 웹 UI, 터미널 UI를 제공하며, 추적 서비스를 통합하고, Docker로 배포할 수 있습니다.

  • 프로젝트
    Tencent/WeSmartFlow

    WeSmartFlow는 AI 에이전트를 사용하여 튜터링, 코스 생성, 개인 지식 그래프에서 진행 상황 추적을 수행하는 오픈소스 적응형 학습 플랫폼으로, Vue 프런트엔드, FastAPI 백엔드 및 선택적 WeChat 통합을 갖추고 있습니다.

  • 프로젝트
    WeaveMindAI/weft

    Weft는 AI 워크플로우를 오케스트레이션하기 위한 컴파일된 그래프 기반 언어 및 런타임입니다. LLM 호출, 에이전트, API, 데이터베이스, 인간 개입 단계를 타입이 지정된 그래프의 노드로 연결하고, 실행 전에 설계를 검증하며, 장기 실행 작업을 유지하고, 모든 데이터 흐름의 저널을 기록합니다. AI 어시스턴트 "Tangle"과 통합되어 자동 코드 생성, 테스트, 버전 관리된 실행을 지원합니다. 초기 단계이지만 사용 가능하며, Docker 기반 설치 프로그램, VS Code 확장, WhatsApp 지원 봇과 같은 예제가 포함되어 있습니다.