atopos31/llmio

해결하는 문제

LLMIO는 여러 LLM 프로바이더를 관리하는 것을 단순화하는 로드 밸런싱 게이트웨이입니다. OpenAI, Anthropic, Gemini 등의 다양한 API를 클라이언트 애플리케이션에 각각 통합할 필요 없이 단일 통합 REST API를 제공함으로써 복잡성을 줄입니다. 또한 신뢰할 수 없는 프로바이더 연결 및 다양한 모델 엔드포인트 간의 불균형한 부하 분배 문제를 해결합니다.

작동 방식

시스템은 LLM 클라이언트와 다양한 AI 프로바이더 사이의 프록시 역할을 합니다. Go 기반 백엔드와 SQLite 데이터베이스(설정 및 로깅용)를 사용합니다. 도구 호출이나 멀티모달 지원과 같은 특정 기능에 따라 요청을 라우팅하기 위한 두 가지 가중치 기반 스케줄링 전략(가중치 기반 랜덤 또는 우선순위)을 제공합니다. 장애를 격리하기 위해 내장된 레이트 제한 폴백 및 연결성 검사 기능도 포함되어 있습니다.

대상 사용자

여러 LLM 프로바이더를 사용하고, 다양한 모델과 API 간에 라우팅, 감시, 비용 추적을 중앙에서 관리하고자 하는 개발자 및 팀입니다.

주요 기능

• 통합 API: OpenAI, Anthropic, Gemini의 네이티브 형식뿐만 아니라 호환 가능한 일반 엔드포인트도 지원합니다.
• 가중치 기반 스케줄링: 구조화된 출력, 도구 호출 등 기능에 따라 요청을 라우팅합니다.
• 관측성: TraceID, 지연 시간 분석, 토큰 사용량, 설정 가능한 가격 기반의 요청별 비용 계산을 포함한 상세한 요청 로그를 제공합니다.
• 관리 UI: 프로바이더, 모델, 메트릭을 관리하고 모니터링할 수 있는 모던한 React 기반 콘솔입니다.
• 세션 추적: session_id를 사용해 로그에 태그를 지정하고 필터링할 수 있어 디버깅을 향상시키고 전체 IO 로그를 추적할 수 있습니다.
• 로컬 지속성: 즉시 사용 가능한 순수 Go SQLite 구현을 사용하여 설치 및 설정이 간편합니다.