diegosouzapw/OmniRoute

Never stop coding. Free MIT AI gateway: one endpoint, 352 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 550+ contributors

📦 OmniRoute란 무엇인가요?

OmniRoute는 어떤 LLM 제공업체든 단일 OpenAI 호환 엔드포인트(예: http://localhost:20128/v1)를 통해 호출할 수 있는 오픈소스 AI 게이트웨이입니다. 자동으로 최적의 백엔드(유료 구독에서 완전 무료 레벨까지)를 선택하며, 첫 번째 제공업체가 실패하면 다른 제공업체로 자동 포백합니다. 개발자들이 설정 없이, 비용 없이 LLM을 사용할 수 있도록 하되, 사용량, 할당량, 토큰 절약 압축을 추적하는 것을 목표로 합니다.

🔑 핵심 기능 (README에 기술됨)

기능	설명
352개의 AI 제공업체 / 150개 이상의 무료 레벨	OmniRoute는 34개의 반복 풀 키에 걸쳐 444개의 무료 레벨 항목을 카탈로그화하여 하나의 엔드포인트로 노출합니다.
자동 포백 라우팅	19가지 라우팅 전략(구독 → API 키 → 저렴한 → 무료)으로 제공업체가 다운되거나 요청 제한에 걸려도 요청을 유지합니다.
토큰 압축 (RTK + Caveman)	프롬프트 전송 전에 15~95%의 토큰을 절약(평균 약 89%)하여 무료 레벨 예산을 극적으로 연장합니다.
실시간 할당량 모니터링	대시보드(`/dashboard/free-tiers`)에서는 현재 무료 토큰 예산(~14.7억 토큰/월)과 각 제공업체별 사용량을 확인할 수 있습니다.
설정 없이 시작	`npm i -g omniroute` 후 서버는 `localhost:20128`에서 시작됩니다. `auto` 모델을 호출하면 API 키 없이 즉시 작동합니다.
다중 모달리티 (시각/음성/비디오)	v3.8.50에서 추가 – 라우터는 이미지, 음성, 비디오 페이로드를 지원하는 제공업체로 전달할 수 있습니다.
개인/로컬 우선 모드	AES-256-GCM로 키를 암호화 저장 가능하여 팀이 게이트웨이를 공유하면서도 클라우드에 시크릿을 노출하지 않도록 할 수 있습니다.
CLI 및 MCP 통합	완전한 명령줄 인터페이스와 "다중 클라이언트 프록시"를 제공하며, 36개의 기존 CLI/에이전트(예: Claude Code, Cursor, Cline)와 통합 가능합니다.
Docker 및 Electron 빌드	npm 패키지, Docker 이미지, 데스크톱 앱으로 제공되어 어떤 플랫폼에서도 쉽게 배포할 수 있습니다.
풍부한 문서 및 커뮤니티	문서, Python/Node/PHP/cURL용 빠른 시작 예제, Discord/Telegram 커뮤니티, 공개 로드맵이 있습니다.

🚀 작동 방식 (개요 흐름)

설치 – npm i -g omniroute (또는 Docker 이미지 다운로드). 서버가 로컬에서 시작됩니다.
도구 설정 – OpenAI 호환 클라이언트를 http://localhost:20128/v1로 설정합니다.
요청 전송 – 특수 모델 이름 auto (또는 특정 무료 백엔드용 oc/...)를 사용합니다.
라우터 결정 – OmniRoute는 할당량, 건강 상태, 비용을 확인하고 압축을 적용한 후 선택된 제공업체로 요청을 전달합니다.
응답 반환 – 클라이언트는 표준 OpenAI 형식의 JSON 응답을 받으며, 백엔드 제공업체가 무엇인지 모릅니다.

📊 누가 이득을 볼 수 있나요?

수십 개의 API 키를 관리하지 않고도 다양한 LLM을 실험하고 싶은 개발자 및 애호가.
사용량을 투명하게 유지하면서 비용을 $0으로 유지하고 싶은 팀.
제공업체 장애에 관계없이 안정적인 엔드포인트가 필요한 도구 제작자 (IDE 확장, CLI 에이전트 등).
통일된 API 아래에서 여러 모델을 벤치마킹하고 싶은 연구자.

📚 더 알아보기

빠른 시작 스크립트: examples/quickstart/ (Python, Node, PHP, cURL).
무료 레벨 방법론: docs/reference/FREE_TIERS.md.
로드맵 및 변경 내역: ROADMAP.md 및 README의 버전 테이블.
커뮤니티: Discord, Telegram, WhatsApp 그룹, 공개 웹사이트 omniroute.online.

🛠️ 기술 스택 (목록된 것들)

Node.js 런타임 (npm 패키지 omniroute).
Docker 컨테이너를 통한 서버 배포.
Electron을 통한 데스크톱 UI.
RTK + Caveman 압축 알고리즘.
AES-256-GCM 암호화를 통한 로컬 우선 키 저장.

📦 설치 옵션 (요약)

npm: npm i -g omniroute → localhost:20128에서 실행.
Docker: docker pull diegosouzapw/omniroute.
소스: 리포지토리 복제 후 pnpm/npm으로 실행.
Electron: GitHub 릴리스에서 다운로드.

🎉 결론

OmniRoute는 실제로 프로덕션 수준의 게이트웨이로, 수백 개의 LLM 제공업체를 통합하고, 자동으로 비용과 가용성을 최적화하며, 플러그 앤 플레이 가능한 OpenAI 호환 API를 제공합니다. AI 툴링 분야에 명확히 위치하며, 여러 키를 관리하거나 사용료를 지불하지 않고 LLM을 사용하고 싶은 누구에게나 실질적인 가치를 제공합니다.