ellipticmarketing/modelrelay

해결하는 문제

modelrelay는 OpenAI 호환 로컬 라우터로, 개발자가 API 사용료를 지불하지 않고도 여러 공급업체의 최적의 무료 코딩 모델로 요청을 라우팅할 수 있도록 돕습니다. 단일화된 통합 인터페이스를 제공하여 다양한 AI 공급업체와 각기 다른 API 형식을 수동으로 전환할 필요를 없애줍니다.

작동 방식

이 도구는 로컬 프록시 서버(http://localhost:7352/v1에서 액세스 가능)로 작동하며, 12개 이상의 공급업체(NVIDIA, Groq, OpenRouter, Google 등)의 무료 모델을 벤치마킹하고 서비스 품질(QoS) 점수를 기반으로 가장 성능이 뛰어난 모델로 요청을 자동으로 전달합니다. 이 점수는 모델의 지능 백분위수와 최근 관찰된 평균 지연 시간을 결합하여 계산됩니다.

사용자는 특정 모델 ID, 기능 태그(예: tag:coding) 또는 auto-fastest 식별자를 사용하여 요청을 라우팅할 수 있습니다. 또한 최소 컨텍스트 창 크기에 따른 필터링(예: auto-fastest+min_ctx:128k)도 지원합니다.

대상 사용자

여러 API 키를 관리하거나 사용료를 지불하지 않고도 다양한 고성능 무료 LLM에 액세스하려는 AI 코딩 어시스턴트 및 개발자를 위해 설계되었습니다.

주요 특징

• OpenAI 호환: 기존 도구 및 스크립트를 그대로 대체하여 사용할 수 있습니다.
• 자동 라우팅: 사용 가능한 모델 중 가장 빠르고 성능이 뛰어난 모델을 자동으로 선택합니다.
• 광범위한 모델 지원: 12개 이상의 공급업체에서 제공하는 80개 이상의 모델에 액세스할 수 있습니다.
• 컨텍스트 창 필터링: 필요한 최소 컨텍스트 크기에 따라 모델을 필터링할 수 있습니다.
• 사용자 지정 태그: Web UI를 통해 사용자가 모델에 직접 라우팅 태그를 할당할 수 있습니다.
• 유연한 설치: NPM 또는 Docker를 통해 설치할 수 있습니다.