bestruirui/octopus
One Hub All LLMs For You | 为个人打造的 LLM API 聚合网关
해결하는 문제
Octopus는 여러 AI 제공업체를 사용하는 개인을 위한 LLM API 집약 서비스입니다. 여러 API 키와 다른 API 형식을 관리할 필요 없이, 다양한 모델에 통합된 인터페이스로 접근할 수 있으며, 자동 장애 대체를 통해 높은 가용성을 보장합니다.
작동 방식
이 서비스는 클라이언트와 여러 LLM 제공업체 사이의 프록시 역할을 합니다. OpenAI, Anthropic, Gemini 형식 간의 프로토콜을 변환하고, 여러 제공업체 채널을 '그룹'(통합 모델 이름)으로 통합합니다. 또한 models.dev 같은 외부 소스에서 가격 데이터를 동기화하여 토큰 사용량과 비용을 추적합니다.
대상 사용자
- 여러 제공업체에서 여러 LLM API 키를 관리하는 개인.
- AI 에이전트나 애플리케이션에 단일 안정적인 엔드포인트를 원하는 개발자.
- 다양한 채널을 통한 전체 AI 지출을 추적하고 싶은 사용자.
주요 기능
- 다중 채널 집약: 한 곳에서 여러 LLM 제공업체를 연결하고 관리.
- 프로토콜 변환: OpenAI와 Anthropic API 형식 간을 원활하게 전환 가능.
- 자동 장애 대체: 상류 제공업체가 실패할 경우 자동으로 작동 중인 채널로 전환.
- 실시간 시각화: 프론트엔드에서 클라이언트에서 제공업체까지의 전체 요청 경로를 확인 가능.
- 경량 배포: SQLite, MySQL, PostgreSQL을 지원하는 단일 바이너리로 배포 가능.
관련
- 프로젝트
theopenco/llmgatewayLLM Gateway는 여러 LLM 공급자로의 요청을 라우팅하는 오픈소스 API 게이트웨이로, 단일 OpenAI 호환 엔드포인트를 제공하고 API 키를 중앙에서 관리하며 내장된 사용량 및 성능 분석 기능을 제공합니다. Docker를 통해 호스팅된 SaaS 서비스 또는 자체 호스팅이 가능합니다.
- 프로젝트
atopos31/llmio다수의 AI 프로바이더를 위한 통합 REST API, 가중치 기반 스케줄링 및 상세한 관측성을 제공하는 Go 기반 LLM 로드 밸런싱 게이트웨이입니다.
- 프로젝트
yym68686/uni-apiuni‑api는 OpenAI 호환 API를 단 하나 제공하는 설정 중심 서버로, OpenAI, Anthropic, Gemini, Vertex, Azure, AWS 등 다양한 LLM 제공업체로 요청을 라우팅합니다. 가중치 및 라운드로빈 로드 밸런싱, 자동 재시도, 모델별 타임아웃, 레이트 제한, 도구 호출 전달, 콘텐츠 모니터링, 세부 요청 오버라이드 등은 모두 `api.yaml` 파일 또는 `CONFIG_URL`로 정의 가능. Docker 컨테이너로 배포 가능 (Fugue의 원클릭 버튼 제공)
- 프로젝트
fruitbars/simple-one-apisimple‑one‑api는 여러 LLM 프로바이더를 OpenAI 호환 엔드포인트로 통합하고, 용량 인식 키 스케줄링, 4단계 속도 제한, 내장된 React 채팅 UI, 시각적 설정 콘솔, Wails 데스크톱 클라이언트를 제공하는 오픈 소스 Go 게이트웨이입니다. 단일 바이너리, Docker 컨테이너, 또는 데스크톱 앱으로 실행할 수 있으며, 설정은 SQLite에 저장됩니다.
- 프로젝트
mozilla-ai/otari여러 제공자를 위한 단일 엔드포인트를 제공하는 OpenAI 호환 LLM 게이트웨이로, 자격 증명 중앙 집중 관리, 예산 강제 적용, 사용량 추적을 가능하게 합니다.