experientiallabs/experiential

해결하는 문제

Experiential은 에이전트 워크플로우를 위한 오픈소스 게이트웨이 및 라우터입니다. 여러 LLM 제공업체를 단일 OpenAI 호환 API를 통해 간편하게 관리할 수 있으며, 사용자 접근, 모델 선택, 지출 한도에 대한 제어 계층을 추가합니다. 또한 개발자들은 실제 트래픽(테레메트리)을 활용해 최적화된 라우터 또는 전용 모델을 구축할 수 있습니다.

작동 방식

시스템은 에이전트와 LLM 제공업체 사이의 프록시 역할을 합니다. 호스팅된 모델, Bring Your Own Key (BYOK), 로컬 모델을 모두 지원합니다. 사용자는 설정 마법사로 로컬 게이트웨이를 설정하거나, 관리형 호스팅 플랫폼을 사용할 수 있습니다. 플랫폼은 에이전트 트래픽에서 OpenTelemetry 추적 데이터를 수집하며, 이를 시뮬레이션 구축 및 라우터 최적화, 또는 오픈소스 모델의 정밀 조정에 활용해 품질, 속도, 비용을 개선할 수 있습니다.

대상 사용자

AI 에이전트를 개발하거나 다양한 용도로 여러 LLM 제공업체를 관리하는 개발자들로, 비용과 접근 권한을 중앙에서 통제해야 하는 경우에 적합합니다.

주요 특징

• 통합 API: 하나의 OpenAI 호환 인터페이스를 통해 호스팅, BYOK, 로컬 모델에 접근 가능.
• 컨트롤 플레인: 특정 모델 사용을 허용할 사용자 및 에이전트를 관리하고 지출 예산을 설정 가능.
• 트래픽 기반 최적화: 실제 OpenTelemetry 추적 데이터를 사용해 커스텀 라우터 또는 최적화된 모델로 변환 가능.
• 유연한 배포: 로컬 게이트웨이 또는 관리형 호스팅 플랫폼으로 사용 가능.