future-agi/future-agi
Open-source, end-to-end platform for evaluating, observing, and improving LLM and AI agent applications. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Self-hostable. Apache 2.0.
해결하는 문제
AI 에이전트는 환각(hallucination) 및 예측 불가능한 동작으로 인해 프로덕션 환경에서 실패하는 경우가 많습니다. 대부분의 팀은 관측성(observability), 평가 및 가드레일을 위한 개별 도구를 결합해야 하는 파편화된 워크플로우로 어려움을 겪고 있습니다. Future AGI는 이러한 과정을 단일 피드백 루프로 통합하여 에이전트가 신뢰할 수 있고 스스로 개선될 수 있도록 만듭니다.
작동 방식
플랫폼은 6가지 핵심 기둥을 통해 작동합니다:
- Simulate: 현실적인 페르소나 및 엣지 케이스(텍스트 및 음성 포함)를 대상으로 수천 개의 멀티턴 대화를 실행합니다.
- Evaluate: LLM-as-judge, 휴리스틱 및 ML를 사용하여 근거성(groundedness) 및 도구 사용 정확성과 같은 50개 이상의 지표를 제공합니다.
- Protect: 내장된 스캐너와 벤더 어댑터를 통해 탈옥(jailbreak), 인젝션 및 PII 유출을 방지합니다.
- Monitor: OpenTelemetry 네이티브 트레이싱을 사용하여 다양한 프레임워크에 걸친 지연 시간, 비용 및 스팬 그래프를 추적합니다.
- Command Center: 고성능 라우팅 및 시맨틱 캐싱을 갖춘 OpenAI 호환 게이트웨이 역할을 합니다.
- Optimize: 6가지 프롬프트 최적화 알고리즘을 사용하여 프로덕션 트레이스를 더 나은 성능을 위한 학습 데이터로 변환합니다.
대상 사용자
- 고객 지원 팀: 신뢰할 수 있는 지원 AI 구축.
- Voice AI 개발자: 엔드 투 엔드 음성 에이전트 테스트 및 개선.
- 엔터프라이즈 개발자: 신뢰할 수 있는 내부 코파일럿 및 자율 에이전트 구축.
- RAG 개발자: 근거 있는 답변 및 검증된 인용 보장.
- 코딩 및 컴퓨터 사용 에이전트 개발자: 코드 작성 또는 인터페이스 상호작용을 확신 있게 수행할 수 있는 에이전트 구축.
주요 특징
- 오픈 소스(Apache 2.0)이며 Docker를 통해 셀프 호스팅 가능.
- 약 29k req/s를 처리할 수 있는 고성능 Go 기반 게이트웨이.
- 50개 이상의 에이전트 프레임워크(LangChain, LlamaIndex, CrewAI 등) 지원.
- 100개 이상의 LLM 제공업체 및 주요 벡터 데이터베이스와 통합.