ellipticmarketing/modelrelay

해결하는 문제

modelrelay는 다양한 제공업체의 다양한 무료 AI 코딩 모델에 무료로 접근할 수 있도록 해주는 로컬 라우터입니다. 여러 API 구독료를 지불할 필요 없이, 모델의 성능을 벤치마크하고 다양한 제공업체 중에서 가장 적합한 무료 모델로 요청을 자동으로 라우팅합니다.

작동 방식

OpenAI 호환 프록시로 작동합니다. auto-fastest 엔드포인트나 특정 모델 그룹에 요청을 보낼 경우, 모델의 지능 백분위수와 최근 평균 지연 시간의 조합을 기반으로 서비스 품질(QoS) 점수를 평가합니다. 태그(coding, reasoning 등) 또는 최소 컨텍스트 창 크기(min_ctx) 기준으로 요청을 라우팅할 수 있습니다.

대상 사용자

여러 API 키를 관리하거나 제공업체를 수동으로 전환하지 않고도 무료로 고성능 LLM에 접근하고자 하는 개발자 및 AI 코딩 도구 사용자.

주요 특징

• OpenAI 호환성: 기존 도구 및 스크립트의 즉시 대체로 사용 가능.
• 자동 라우팅: 실시간 벤치마크 기반으로 가장 빠르고 능력 있는 모델을 자동 선택.
• 광범위한 지원: NVIDIA, Groq, Google 등을 포함한 12개 이상의 제공업체에서 80개 이상의 모델에 접근 가능.
• 유연한 라우팅: 기능 태그(tag:coding 등) 및 최소 컨텍스트 창 필터 기반 라우팅 지원.
• 로컬 관리: 제공업체 관리, 모델 고정, QoS 설정 조정이 가능한 웹 UI 포함.