atopos31/llmio

Unified LLM gateway with weighted load balancing, observability & cost tracking. 统一的 LLM 网关，提供权重负载均衡、可观测性与费用追踪。

해결하는 문제

LLMIO는 여러 LLM 제공업체(OpenAI, Anthropic, Gemini 등)를 관리하기 위한 중앙 집중식 게이트웨이 역할을 합니다. 통합된 REST 인터페이스를 제공하여 서로 다른 API를 통합하는 복잡성을 해결하며, 개발자가 모델 간에 요청을 라우팅하고, 할당량을 관리하며, 단일 서비스를 통해 사용량을 모니터링할 수 있도록 합니다.

작동 방식

Go로 구축된 이 프로젝트는 로드 밸런싱 프록시로 작동합니다. 서로 다른 LLM 프로토콜 간의 변환(예: Anthropic 메시지를 OpenAI 형식으로 변환)을 수행하고, 가중치 기반 요청 스케줄링을 처리하며, 사용자 지정 헤더나 세션 키를 관리하여 다양한 클라이언트와의 호환성을 보장합니다. 모니터링, 로그 검사, 시간대별 가격 책정 및 데이터베이스 유지 관리와 같은 고급 기능을 구성하기 위한 React 기반 관리 UI가 포함되어 있습니다.

대상 사용자

여러 LLM 통합을 관리해야 하거나, 비용 추적을 구현해야 하거나, 다양한 AI 모델 제공업체 전반에서 로드 밸런싱과 관측 가능성을 처리하기 위한 강력한 자체 호스팅 프록시가 필요한 개발자 및 팀.

주요 특징

통합 API: 서로 다른 제공업체의 프로토콜을 단일하고 일관된 인터페이스로 표준화합니다.
고급 라우팅: 가중치 기반 스케줄링과 제공업체 간의 자동 프로토콜 변환을 지원합니다.
관측 가능성: 상세한 사용량 분석, 지연 시간 추적, 세션 비교 도구가 포함된 요청 로그 기록을 제공합니다.
효율적인 저장소: 콘텐츠 정의 청킹(content-defined chunking)과 전역 중복 제거를 사용하여 SQLite 내 요청 로그의 저장 공간을 획기적으로 줄입니다.
운영 제어: 서킷 브레이커, 속도 제한, 공간 회수를 위한 정교한 데이터베이스 유지 관리 도구가 내장되어 있습니다.

atopos31/llmio

해결하는 문제

작동 방식

대상 사용자

주요 특징

관련