fruitbars/simple-one-api

해결하는 문제

여러 대규모 언어 모델(LLM) 공급자를 연결하는 통합 게이트웨이를 제공하여 사용자가 단일 인터페이스를 통해 다양한 API 키와 모델을 관리할 수 있게 합니다. 특히 API 속도 제한(429 오류) 문제를 해결하며, 지능형 키 풀과 용량 인식 스케줄링을 구현하여 요청이 사용 가능한 키에 분산되도록 함으로써 반복적인 실패를 방지합니다.

작동 방식

이 프로젝트는 클라이언트와 LLM 공급자 사이의 프록시 역할을 합니다. OpenAI Chat Completions, OpenAI Responses, Anthropic Messages 등 3가지 주요 클라이언트 프로토콜을 지원합니다. 60초 롤링 윈도우를 사용하여 각 API 키와 모델 조합에 대한 분당 토큰 수(TPM) 잔량을 추정합니다. 요청이 들어오면 비활성화되었거나 서킷 브레이커가 작동 중인 키를 필터링하고, 요청 비용을 추정하여 가장 여유 용량이 많은 키를 선택합니다. 공급자가 429 오류를 반환하면 시스템은 해당 키-모델 쌍을 자동으로 쿨다운시키고 풀 내의 다른 정상적인 키로 요청을 라우팅합니다.

대상 사용자

• 여러 LLM 공급자를 사용하며 단일 API 엔드포인트를 원하는 개발자.
• API 키를 위한 관리형 게이트웨이가 필요한 로컬 LLM 클라이언트(Codex 또는 Claude Code 등) 사용자.
• 여러 API 계정에 걸쳐 속도 제한 및 로드 밸런싱을 안정적으로 처리해야 하는 팀.

주요 특징

• 용량 인식 스케줄링: 추정된 TPM 및 실시간 429 쿨다운에 기반한 지능형 키 선택.
• 멀티 프로토콜 지원: OpenAI 및 Anthropic API 형식과 호환.
• 통합 관리: 시각적 구성 대시보드, 내장 React 웹 채팅 인터페이스, Wails 기반 데스크톱 애플리케이션 포함.
• 세밀한 속도 제한: QPS, QPM, RPM, TPM 및 동시성 전반에 걸쳐 4단계 제한(공급자, 공급자-모델, 키, 키-모델) 지원.
• 관측 가능성: 프롬프트 내용을 저장하지 않고 실시간 로그 보기 및 경량 사용 통계(지연 시간, TTFT, 토큰 수) 제공.