hkqr/my-free-code

What it solves

My Free Code는 코딩 에이전트(Claude Code, Cline 등)가 단일 API에 종속되지 않고 다양한 LLM 제공업체를 사용할 수 있도록 하는 멀티 프로바이더 게이트웨이입니다. 이 프로젝트는 서로 다른 API 프로토콜(Anthropic 및 OpenAI 등) 간의 요청을 번역하고 요청이 기본 모델로 라우팅되는 방식을 관리하는 프록시 역할을 합니다.

How it works

이 프로젝트는 와이어 프로토콜을 라우팅 및 제공업체 로직과 분리하는 FastAPI 게이트웨이를 구현합니다. 코딩 에이전트가 요청을 보내면, 게이트웨이는 Anthropic 또는 OpenAI 호환 엔드포인트를 통해 요청을 받고, 모델 라우터를 통해 라우팅한 다음, 특화된 어댑터를 통해 선택된 제공업체로 요청을 보냅니다.

Key mechanisms include:

• Protocol Translation: Anthropic Messages 및 OpenAI Responses 프로토콜을 지원하여 다양한 에이전트와의 호환성을 보장합니다.
• Model Routing & Fallback: 사용자는 기본 모델과 폴백(fallback) 모델 목록을 구성할 수 있습니다. 기본 제공업체가 출력을 생성하기 전에 실패할 경우, 게이트웨이는 시퀀스의 다음 모델로 자동으로 전환합니다.
• Provider Integration: 클라우드 API(OpenRouter, Groq, DeepSeek) 및 로컬 런타임(Ollama, LM Studio, llama.cpp)을 포함한 광범위한 제공업체 카탈로그를 포함합니다.
• Launcher Adapters: 지원되는 코딩 에이전트를 올바른 환경 변수 및 프록시 설정과 함께 쉽게 실행할 수 있는 CLI 도구를 제공합니다.

Who it’s for

코딩 에이전트를 사용하지만 다양한 LLM 제공업체, 로컬 모델을 사용하거나 신뢰성을 위해 자동 폴백을 구현하고 싶은 개발자 및 AI 엔지니어.

Highlights

• Extensive Provider Support: NVIDIA NIM, OpenRouter, Groq 및 Ollama와 같은 로컬 도구를 포함한 수십 개의 제공업체를 통합합니다.
• Detailed Routing Control: 제공업체별 동시성, 속도 제한 윈도우(rate-window) 제어 및 순차적 모델 폴백을 지원합니다.
• Reasoning Pass-through: Claude 스타일의 사고/추론 메타데이터를 처리하고 이를 제공업체별 필드로 매핑합니다.
• Agent Launchers: 전용 CLI를 통해 Claude Code, Codex, Cline과 같은 에이전트를 실행하는 내장 지원을 제공합니다.
• Admin UI: 상태 및 제공업체를 모니터링하기 위한 로컬 관리자 인터페이스 및 인증된 API를 포함합니다.