Human-Agent-Society/reef

해결하는 문제

Reef는 자가 개선형 AI 에이전트를 구축하기 위한 인프라를 제공합니다. 새로운 데이터나 피드백이 도착했을 때 모델이나 에이전트 구성 수동 업데이트 문제를 해결하기 위해, 서비스 제공, 피드백 관찰, 업데이트 학습, 배포 사이클을 중단 없이 자동화합니다.

작동 방식

Reef는 4단계 사이클을 사용하는 지속적 학습 백엔드로 작동합니다:

1. 제공: OpenAI 및 Anthropic 호환 HTTP 엔드포인트를 제공하여 에이전트 요청을 처리하고 모든 상호작용을 기록합니다.
2. 관찰: 사용자 또는 검증자가 보고한 피드백(점수 또는 텍스트)을 기록된 상호작용과 매칭합니다.
3. 성장: '레시피'를 사용하여 적격 기록을 기반으로 업데이트를 생성합니다. 이러한 업데이트는 모델 가중치 또는 에이전트의 '하네스'(규칙, 기술, 프롬프트, 확장 기능) 중 하나를 대상으로 할 수 있습니다.
4. 커밋: 후보 업데이트를 현재 버전과 비교하고, 더 나은 성능을 보일 경우 버전 기록에 게시합니다.

대상 사용자

현실 세계 경험과 피드백 루프를 통해 시간이 지남에 따라 성능을 향상시켜야 하는 자율 에이전트를 개발하는 개발자들.

주요 특징

• 이중 표면 학습: 하위 모델 가중치와 상위 수준의 에이전트 하네스(기술 및 프롬프트) 모두를 진화시킬 수 있습니다.
• 다운타임 없음 업데이트: 재시작 없이 업데이트된 가중치와 구성 정보를 서비스 런타임에 동기화할 수 있습니다.
• 표준화된 API: 추론 및 피드백 보고를 위한 표준 HTTP 엔드포인트를 사용하여 기존 워크플로우에 쉽게 통합할 수 있습니다.
• 레시피 기반 아키텍처: 테스트로 평가된 작업이나 다음 상태 신호를 가진 에이전트 트래픽과 같은 다양한 워크로드용 레시피 카탈로그를 포함합니다.