fruitbars/simple-one-api

해결하는 문제

다수의 대규모 언어 모델(LLM) 제공업체에 대한 통합 게이트웨이를 제공하여, 여러 다른 API 프로토콜을 관리할 필요를 없앱니다. OpenAI Chat Completions, OpenAI Responses, Anthropic Messages와 같은 표준 클라이언트 프로토콜을 지원하면서도 단일 인터페이스를 통해 다양한 모델과 상호작용할 수 있습니다.

작동 방식

이 프로젝트는 다양한 AI 제공업체로 요청을 라우팅하는 프록시 서버로 작동합니다. 랜덤, 선호, 풀링, 해시 기반 방법을 사용한 요청 분배를 지원하는 라우팅 시스템을 갖추고 있습니다. React 기반 웹 채팅 인터페이스와 제공업체, 모델, 자격 증명을 관리할 수 있는 시각적 구성 콘솔이 내장되어 있습니다. 설정 정보는 SQLite로 저장되며, 독립형 서버 또는 Wails 기반 데스크톱 애플리케이션으로 배포할 수 있습니다.

대상 사용자

다수의 AI 모델 제공업체를 중앙에서 관리하고 단일 API 게이트웨이를 통해 접근하고자 하는 사용자 및 개발자, 그리고 AI 서비스 관리를 시각적 인터페이스로 선호하는 사용자에게 적합합니다.

주요 특징

• 다중 프로토콜 지원: OpenAI 및 Anthropic API 형식과 호환됩니다.
• 유연한 라우팅: 여러 제공업체 및 자격 증명 간에 랜덤, 선호, 풀링, 해시 라우팅을 지원합니다.
• 통합 UI: 내장된 웹 채팅 인터페이스와 시각적 구성 대시보드를 제공합니다.
• 회복성 기능: 제공업체 및 모델 수준에서 회로 차단 및 반개방 복구를 구현합니다.
• 배포 옵션: 단일 파일 서버, Docker 이미지, 또는 데스크톱 애플리케이션으로 제공됩니다.