future-agi/future-agi

Open-source, end-to-end platform for evaluating, observing, and improving LLM and AI agent applications. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Self-hostable. Apache 2.0.

개요

Future AGI는 신뢰할 수 있는 AI 에이전트를 구축하고 운영하기 위한 자체 호스팅 가능한 Apache-2.0 플랫폼입니다. 이는 개별 도구(추적용 Langfuse, 평가용 Braintrust, 안전용 Guardrails AI, 게이트웨이용 Helicone 등)의 전형적인 패치워크를 단일 통합 시스템으로 대체합니다.

핵심 제안: 에이전트는 환각을 일으키며, Future AGI는 루프를 닫아 더 빠르게 수정하도록 돕습니다 — 엣지 케이스 시뮬레이션 → 품질 평가 → 공격 방어 → 실시간 동작 모니터링 → 실제 추적을 최적화에 피드백.

주요 기능 (6가지 기둥)

시뮬레이션 — 현실적인 페르소나, 적대적 입력, 엣지 케이스로 수천 개의 다중 턴 대화를 생성합니다. 텍스트 및 음성(LiveKit, VAPI 등)을 지원합니다.
평가 — 한 번의 호출로 50개 이상의 메트릭: 근거성, 환각, 도구 사용 정확성, PII, 톤, 사용자 정의 루브릭. LLM-as-judge, 휴리스틱, ML을 사용합니다.
보호 — 18개의 내장 스캐너(PII, 탈옥, 인젝션)와 15개의 벤더 어댑터(Lakera, Presidio, Llama Guard). 게이트웨이에서 인라인으로 실행하거나 독립 SDK로 실행할 수 있습니다.
모니터링 — 50개 이상의 프레임워크(LangChain, LlamaIndex, CrewAI, DSPy)를 위한 OpenTelemetry 네이티브 추적. 스팬 그래프, 지연 시간, 비용, 실시간 대시보드 — 제로 구성.
에이전트 커맨드 센터 — 100개 이상의 프로바이더, 15가지 라우팅 전략, 의미론적 캐싱, 가상 키, MCP, A2A를 갖춘 OpenAI 호환 게이트웨이. 주장 성능: 약 29k req/s, 가드레일 활성 시 P99 ≤ 21 ms.
최적화 — 6가지 프롬프트 최적화 알고리즘(GEPA, PromptWizard, ProTeGi, Bayesian, Meta-Prompt, Random). 프로덕션 추적이 훈련 데이터로 피드백됩니다.

아키텍처

엣지: traceAI(OpenTelemetry 계측) 및 Agent Command Center(게이트웨이 프록시).
플랫폼: tracer(OTLP 수집), agentic_eval(메트릭), simulate(시나리오 생성), model_hub(LLM 라우팅), accounts(인증, 계량).
데이터: PostgreSQL(메타데이터), ClickHouse(스팬), Redis(상태), Temporal(작업).
인터페이스: 모든 것이 개방됨 — 추적은 OTLP, 게이트웨이는 OpenAI 호환 HTTP, 스토리지는 SQL. 구성 요소를 교체할 수 있습니다.

빠른 시작

Docker 필요(독립형의 경우 2+ vCPU, 4GB RAM).
한 줄 명령: git clone + ./bin/install(Windows에서는 PowerShell 스크립트).
부팅 후 로그인하고 API 키를 복사한 다음 pip install fi-instrumentation-otel로 첫 번째 추적을 보냅니다.
Python, TypeScript, Java, C#용 SDK 제공.

배포 옵션

Docker Compose(독립형 또는 분산), 프로덕션 오버레이, Kubernetes/Helm 차트, 클라우드 VM, 그리고 FUTURE_AGI_TELEMETRY_DISABLED=true를 사용한 에어갭/온프레미스.

라이선스

Apache 2.0 코어; 개별 SDK는 독립적으로 라이선스됨(Apache/MIT). 플랫폼은 오픈소스이며 자체 호스팅 가능하고 관리형 클라우드 옵션도 있습니다.