cheaper-inference/OmniRoute

OmniRoute – 단일 엔드포인트로 수십 개의 LLM 제공업체를 호출할 수 있는 무료 "AI 게이트웨이"

정의 – OmniRoute는 375개 이상의 AI 모델 제공업체(OpenAI, Claude, Gemini 등)를 하나의 HTTP API(/v1/chat/completions 호환) 뒤에 통합하는 자체 호스팅 서비스(npm 패키지, Docker 이미지 또는 Electron 앱으로 제공)입니다. 지원되는 제공업체의 API 키를 등록하면 OmniRoute가 각 요청을 최상의 백엔드로 라우팅하고, 제공업체가 다운되거나 할당량에 도달하면 자동으로 폴백합니다.

중요성 – LLM API 환경은 파편화되어 있습니다. 각 공급업체는 고유한 URL, 인증 방식, 속도 제한 및 가격을 가지고 있습니다. OmniRoute는 이러한 마찰을 제거하고, 또한 여러 제공업체의 무료 티어 할당량을 누적하여 150개 이상의 무료 티어 서비스에서 사용자에게 월 약 16억 개의 무료 토큰을 제공합니다. 또한 압축 레이어(RTK + Caveman)를 적용하여 토큰 사용량을 15~95% 줄여 무료 사용을 더욱 연장합니다.

주요 기능

• 방대한 제공업체 카탈로그 – 375개 제공업체, 1,320개의 고유 모델 ID, 무료 티어 예산 및 남은 할당량을 보여주는 실시간 대시보드.
• 자동 라우팅 및 폴백 – model: "auto"를 선택하면 OmniRoute가 정상 제공업체를 선택하고, 실패하면 다른 제공업체를 원활하게 재시도합니다.
• 할당량 인식 스케줄링 – 각 제공업체의 토큰 한도를 추적하고 트래픽을 분산하여 단일 무료 티어가 소진되지 않도록 합니다.
• 토큰 압축 – 내장된 RTK + Caveman 압축으로 적격 호출에서 최대 95%의 토큰을 절약합니다.
• 멀티모달 – 텍스트, 비전, 오디오 및 비디오 모델 지원("Modality Bridge" 통해).
• CLI 및 에이전트 통합 – 37개 이상의 명령줄 도구와 코딩 에이전트를 동일한 OmniRoute 엔드포인트로 지정할 수 있습니다.
• 헤드리스/서버 모드 – 백그라운드 서비스(serve --headless) 또는 데스크톱 Electron 앱으로 실행.
• 프라이버시 우선 – 모든 라우팅은 로컬에서 수행됩니다. API 키는 명시적으로 공유하지 않는 한 기기를 떠나지 않습니다.

시작 방법

1. npm(npm i -g omniroute), Docker를 통해 설치하거나 Electron 앱을 다운로드합니다.
2. 서비스를 실행하고 웹 대시보드를 연 다음 사용하려는 제공업체의 API 키를 추가합니다.
3. 생성된 OmniRoute 키를 모든 클라이언트(cURL, Python, Node 등)에서 사용하고 표준 OpenAI 호환 엔드포인트를 호출합니다.

일반적인 사용 사례 – 챗봇을 구축하는 개발자가 OpenAI 사용 비용을 피하려는 경우. OmniRoute를 설치하면 수십 개의 무료 티어 LLM을 활용할 수 있고, 모든 무료 할당량이 소진된 경우에만 유료 제공업체로 자동 전환하며, 내장된 압축 덕분에 토큰 비용을 줄일 수 있습니다.

실행 환경 – Node.js 또는 Docker를 실행할 수 있는 모든 플랫폼에서 작동하며, 크로스 플랫폼 Electron 데스크톱 앱으로도 제공됩니다.

커뮤니티 및 지원 – 활발한 Discord, Telegram, WhatsApp 그룹과 공개 로드맵 및 후원 옵션이 있습니다.

---

TL;DR – OmniRoute는 수백 개의 LLM API를 단일 엔드포인트 뒤에 통합하고, 자동 라우팅, 토큰 절약, 제공업체 간 무료 티어 할당량 활용을 가능하게 하는 무료 오픈소스 게이트웨이입니다.