respanai/respan-gateway

Respan Gateway 는 애플리케이션과 모든 주요 AI 제공업체 사이에 위치하는 단일 프로그램(Rust 바이너리)입니다. 각 AI 공급업체별로 별도의 코드를 작성하는 대신 기존 AI SDK를 Respan Gateway로 지정하면 요청을 원하는 제공업체(OpenAI, Anthropic, Gemini 등 다수)로 변환하고 형식 전환, 실패한 호출 재시도, 가장 저렴하거나 빠른 옵션으로 라우팅과 같은 번거로운 세부 사항을 처리합니다.

기능

• 모든 클라이언트, 모든 모델 — OpenAI, Anthropic, Gemini SDK를 사용해도 모든 제공업체의 모델을 호출할 수 있습니다. 게이트웨이가 서로 다른 API 형식 간을 자동으로 변환합니다.
• 멀티모달 — 텍스트 채팅뿐만 아니라 이미지, 음성(실시간), 음성 합성, 전사, 임베딩, 비디오도 공급업체 간에 지원합니다.
• 모든 모델을 위한 도구 — MCP 서버(AI 모델에 웹 검색이나 코드 실행과 같은 추가 도구를 제공하는 표준 방법)를 연결하여 원래 이를 위해 설계되지 않은 모델에서도 모든 모델과 함께 작동하도록 할 수 있습니다.
• 트래픽 제어 — 명명된 경로, 폴백, 재시도, "헤지"된 요청(느린 호출을 두 번째 공급업체와 경쟁시켜 가장 빠른 응답을 얻는 방식)을 설정할 수 있습니다.
• 관찰 가능성 — 모든 요청을 비용, 지연 시간, 토큰 사용량과 함께 기록하며, 추적을 Respan의 분석 플랫폼으로 보낼 수 있습니다.
• 성능 — README에 따르면 벤치마크에서 매우 낮은 추가 지연 시간(0.07ms), 높은 처리량(초당 56,000개 이상의 요청), 낮은 메모리 사용량(31MB)을 달성합니다.
• 플러그인 — 게이트웨이가 수행하는 모든 작업은 공개 Rust API의 플러그인으로 구축됩니다. 단 하나의 트레이트와 4개의 훅만으로 고유한 플러그인(예: 가드레일, PII 마스킹, 빌링)을 작성할 수 있습니다.

사용 방법

1. 설치 — pip install respan-gateway (또는 Cargo 또는 GitHub 릴리스 사용).
2. 실행 — API 키를 환경 변수로 설정하고(예: OPENAI_API_KEY) respan-gateway를 실행합니다. 시작 시 구성 파일이 필요 없으며, 키가 설정된 공급업체를 자동으로 감지합니다.
3. 호출 — 기존 SDK를 http://localhost:8080(기본 주소)으로 지정합니다. 예를 들어 Anthropic SDK에서 base_url을 해당 주소로 설정하면 OpenAI 모델을 포함한 모든 모델을 호출할 수 있습니다.

웹 UI는 모니터링을 위해 http://localhost:8080/ui/에서 사용할 수 있습니다.

구성

더 많은 제어가 필요한 경우 respan-gateway init를 실행하여 주석이 달린 gateway.toml 파일을 생성합니다. 이 파일에서 공급업체, 경로, 도구, 추적을 정의할 수 있습니다. respan-gateway check로 검증하고 --watch 또는 SIGHUP을 사용하여 재시작 없이 다시 로드할 수 있습니다. 클라이언트 키가 없으면 게이트웨이는 보안을 위해 localhost에서만 수신합니다.

지원되는 API 형식

게이트웨이는 여러 일반적인 형식(OpenAI Chat Completions, OpenAI Responses, Anthropic Messages, Gemini API, 그리고 실시간 음성, 이미지, 음성 합성, 임베딩, 비디오, 결정)의 요청을 수락하고 해당 기능을 지원하는 모든 공급업체로 변환합니다. 또한 공급업체별 API 호출은 변경 없이 중계합니다.

플러그인 및 커뮤니티

모든 것이 플러그인 기반이므로 확장할 수 있습니다. README에는 16개의 모델 공급업체, 12개의 도구 공급업체, LangChain, Vercel AI SDK, Pydantic AI와 같은 인기 프레임워크와의 통합 가이드가 나열되어 있습니다. 기여는 환영하며, 새 공급업체 추가는 일반적으로 단일 파일로 충분합니다.

자세한 내용은 README가 구성, 공급업체, MCP 도구, 플러그인 개발에 대한 문서 파일을 참조합니다.