LLM Gateway – 대규모 언어 모델을 위한 통합 API 레이어

개요

• 애플리케이션과 여러 LLM 제공업체(OpenAI, Anthropic, Google Vertex AI 등) 사이에 위치하는 오픈소스 미들웨어입니다.
• OpenAI 채팅 완성 엔드포인트를 모방한 단일 API를 노출하므로 클라이언트 코드를 변경하지 않고도 제공업체를 전환할 수 있습니다.

핵심 기능

• 통합 API – 하나의 엔드포인트(/v1/chat/completions)가 구성된 모든 제공업체에서 작동합니다.
• 다중 제공업체 라우팅 – 요청별로 대상 모델을 선택하거나 게이트웨이가 제공업체 간 트래픽을 분산시킬 수 있습니다.
• 중앙 키 관리 – 모든 제공업체의 API 키를 한 곳에 저장하고 비밀로 보호합니다.
• 사용 분석 – 토큰 수, 응답 시간, 요청별 비용을 기록합니다. 예산 관리 및 성능 튜닝에 유용합니다.
• 성능 모니터링 – 다양한 모델의 지연 시간과 가격을 나란히 비교할 수 있습니다.
• 엔터프라이즈 확장(ee/ 폴더) – 청구, 전체 페이로드 보존, 조직 관리 등. 상용 라이선스 하에 제공됩니다.

실행 방법

• 호스팅 SaaS – https://llmgateway.io에서 가입하고 API 키를 받아 요청을 보내세요.
• 자체 호스팅 – Docker 기반 스택을 직접 배포하세요. README에는 두 가지 패턴이 있습니다:
  1. 제공된 run-unified-container.sh 스크립트를 생성된 비밀과 함께 사용합니다.
  2. 단일 docker run 명령을 실행하고 PostgreSQL 및 Redis용 명명된 볼륨을 마운트하고 게이트웨이 포트(3002‑3007, 4001‑4002)를 노출합니다.
• 개발 워크플로: pnpm i && pnpm run setup으로 의존성을 설치하고 컨테이너를 시작하고 DB를 시드합니다. pnpm dev로 서비스를 시작합니다. pnpm build로 프로덕션 빌드를 수행합니다.

프로젝트 구조

• apps/ – 여러 Next.js 프론트엔드(대시보드, 플레이그라운드, 제공업체 포털)와 Hono 백엔드.
• apps/gateway – 실제 요청 라우팅 서비스.
• packages/ – 공유 코드: 데이터베이스 스키마(drizzle), 모델/제공업체 정의, 유틸리티.
• ee/ – 엔터프라이즈 전용 관리 UI 및 기능. 상용 라이선스로 제한됩니다.

사용 대상

• LLM을 호출해야 하지만 벤더 종속을 피하려는 팀.
• 여러 제공업체에 걸쳐 LLM 지출을 모니터링하고 제어해야 하는 기업.
• OpenAI API처럼 동작하는 로컬 테스트 환경에서 대체 모델을 실험하려는 개발자.

라이선스

• 핵심 코드: AGPL‑v3(오픈소스, 수정 버전의 소스 배포 필요).
• 엔터프라이즈 추가 기능: 독점 라이선스. 상업적 사용에는 별도 계약이 필요합니다.

---

모든 세부 사항은 저장소의 README에서 직접 가져왔습니다.