tashfeenahmed/freellmapi

해결하는 문제

FreeLLMAPI는 수십 개의 AI 제공업체의 여러 무료 티어를 통합하는 단일 OpenAI 호환 API 엔드포인트를 제공합니다. 여러 SDK, API 키, 속도 제한을 수동으로 관리할 필요가 없어지며, 사용자는 수백 개의 모델 패밀리에 걸쳐 방대한 무료 추론 용량(월 최대 74억 토큰)에 액세스할 수 있습니다.

작동 방식

이 프로젝트는 AI 애플리케이션과 다양한 LLM 제공업체 사이에 위치하는 로컬 라우터 역할을 합니다. 제공업체 키를 라우터의 암호화된 SQLite 데이터베이스에 추가하면 라우터가 요청 라우팅, 속도 제한 시 다음 사용 가능한 모델로의 자동 장애 조치, 무료 티어 상한을 유지하기 위한 키별 속도 추적을 처리합니다. 또한 중앙 피드에서 서명된 모델 카탈로그를 동기화하여 무료 티어 환경의 변화를 따라잡습니다.

대상 사용자

여러 계정과 제공업체를 관리하는 복잡성 없이 무료 LLM 티어를 최대한 활용하려는 개발자와 AI 애호가, 그리고 코딩 에이전트나 AI 클라이언트를 위한 단일 엔드포인트를 원하는 사람들.

주요 기능

• 통합 OpenAI 호환 인터페이스: 채팅, 임베딩, 이미지, 비디오, 오디오 엔드포인트를 지원합니다.
• 스마트 라우팅 및 장애 조치: 429/5xx 오류에 대한 자동 재시도 및 쿨다운을 포함한 6가지 라우팅 전략.
• 퓨전(다중 모델 합성): 여러 무료 모델을 병렬로 프롬프트하고 판정 모델을 사용하여 최종 답변을 합성하는 가상 모델.
• 광범위한 호환성: Claude Code, Cursor, Aider 및 기타 OpenAI 호환 클라이언트와 작동하며 ChatGPT용 MCP 서버를 포함합니다.
• 로컬 우선 및 보안: 제공업체 키는 저장 시 AES-256-GCM으로 암호화되고 요청별로 메모리에서 복호화됩니다.
• 자체 업데이트 카탈로그: 수동 업데이트 없이 새 모델과 할당량 변경 사항을 자동으로 동기화합니다.
• 데스크톱 앱: macOS 및 Windows용 네이티브 메뉴 바 앱으로 쉽게 로컬 관리가 가능합니다.