tashfeenahmed/freellmapi

해결하는 문제

FreeLLMAPI는 여러 무료 Tier LLM 공급업체를 통합하는 단일 OpenAI 호환 엔드포인트를 제공합니다. 수십 개의 다른 SDK, 레이트 제한, API 키를 수동으로 관리할 필요 없이, 다양한 AI 연구소의 무료 할당량을 결합하여 대규모 추론 용량을 구축할 수 있습니다.

작동 방식

이 프로젝트는 AI 애플리케이션과 다양한 LLM 공급업체 사이에 위치하는 로컬 라우터 역할을 합니다. 공급업체 키를 라우터에 추가하면 단일 /v1 API가 노출됩니다. 자동 라우팅, 레이트 제한 시 다음 사용 가능한 모델로의 자동 장애 전환, 각 키별 사용량 추적을 통해 무료 티어 한도를 초과하지 않도록 관리합니다. 라우터는 또한 중앙 피드에서 서명된 모델 카탈로그를 동기화하여 공급업체의 모델 및 할당량 변화에 즉시 대응합니다.

대상 사용자

복잡한 여러 API 키와 레이트 제한 관리를 반복하지 않고, 다양한 무료 LLM 모델을 사용하고 싶은 개발자 및 AI 애호가.

주요 기능

• 통합 API: /v1/chat/completions, /v1/embeddings, 미디어 생성 엔드포인트(이미지, 동영상, 오디오)를 지원합니다.
• 스마트 라우팅: 6가지 라우팅 전략과 자동 장애 전환, 키 회전 기능으로 가용성을 극대화합니다.
• 다중 모델 합성(Fusion): 프롬프트를 병렬로 여러 무료 모델에 전달하고, 판단 모델을 사용해 최종 답변을 합성할 수 있습니다.
• 광범위한 호환성: Claude Code, Aider, Cursor와 같은 모든 OpenAI 호환 클라이언트와 호환됩니다.
• 로컬 우선 보안: 공급업체 키는 로컬 SQLite 데이터베이스에서 AES-256-GCM 암호화되어 저장됩니다.
• 자동 업데이트 카탈로그: 수동 업데이트 없이 모델 목록과 할당량 정보를 자동으로 갱신합니다.
• 관리 대시보드: React UI를 포함하여 키 관리, 분석 모니터링, 플레이그라운드에서 모델 테스트가 가능합니다.