Lynk​r – 토큰을 절약하고 비용을 최적화하는 LLM 게이트웨이

개요

Lynkr는 Node.js 기반 프록시로, 개발자가 로컬(또는 컨테이너)에서 실행하여 AI 코딩 도구(Claude Code, Cursor, Codex 등)와 사용하는 대규모 언어 모델 제공자 사이에 배치합니다. 자동으로 다음 세 가지 작업을 수행합니다.

1. JSON 페이로드 압축 – 대규모 도구 호출 결과는 모델에 전송되기 전에 약 84% 축소됩니다.
2. 의미적으로 유사한 요청 캐시 – 캐시 히트는 300ms 미만으로 캐시된 답변을 반환하며 토큰 비용이 0입니다.
3. 각 요청을 가장 저렴하면서도 충분한 모델로 라우팅 – 작은 "티어" 라우터가 쿼리가 무료 로컬 모델(Ollama, llama.cpp, LM Studio)로 답변할 수 있는지, 아니면 유료 클라우드 제공업체(OpenAI, Anthropic, Azure 등)로 에스컬레이션해야 하는지 결정합니다.

이 모든 것은 클라이언트의 코드 변경 없이 작동합니다. 클라이언트를 http://localhost:8081/v1에 지정하거나(또는 Claude Code용으로 제공되는 wrap 명령 사용) lynkr wrap 명령을 사용하기만 하면 됩니다.

---

대상 사용자

사용 사례	Lynkr가 도움이 되는 이유
개인 개발자 – 일상적인 편집에는 로컬 모델을 사용하지만 어려운 문제에는 유료 모델에 대한 액세스를 가끔 필요로 하는 경우.	토큰 사용량을 50% 이상 줄이고 구독 크레딧을 실제로 필요한 작업에 아낄 수 있습니다.
혼합 스택을 가진 팀(일부는 온프레미스 모델, 일부는 Azure/OpenAI)	지원되는 14개 이상의 제공업체 중 하나로 전달할 수 있는 단일 엔드포인트를 제공하고 지출 대비 절감액 대시보드를 표시합니다.
CI/CD 또는 자동화된 코드 리뷰 봇 – LLM을 여러 번 호출하는 경우.	의미적 캐시가 반복 호출을 제거하고, 티어 라우팅이 저비용 모델 과부하를 방지합니다.

---

핵심 기능(README에 설명됨)

기능	설명	보고된 이점
JSON 압축(RTK/TOON)	사용하지 않는 필드를 제거하고 모델로 보내기 전에 대규모 도구 출력 blob을 압축합니다.	JSON이 많은 도구 결과에서 84% 토큰 감소.
의미적 캐시	최근 요청의 임베딩을 저장합니다. 거의 중복된 쿼리는 캐시에서 300ms 미만으로 답변되며 토큰이 청구되지 않습니다.	0-토큰 캐시 히트; 지연 시간이 초에서 밀리초로 단축.
티어 라우팅	네 가지 구성 가능한 티어(SIMPLE, MEDIUM, COMPLEX, REASONING). k-NN + 밴딧 라우터가 요청을 처리할 수 있는 가장 저렴한 티어를 결정하고, 야간 자동 보정합니다.	도구가 많은 호출에서 53% 토큰 감소; 비싼 티어 히트 최대 15배 감소.
랩 모드	한 줄 래퍼(lynkr wrap claude)로 도구 설정을 변경하지 않고 Claude Code, Copilot, Cursor 등에 게이트웨이를 주입합니다.	코드 변경 없음. 고정 세션은 대화 중에 동일한 모델을 유지하고, 실제로 용량을 초과할 때만 변경합니다.
실시간 SSE 스트리밍	이미 스트리밍하는 제공업체에는 패스스루. 그 외에는 OpenAI 스타일 스트림을 Anthropic 스타일 이벤트로 변환합니다.	여러 백엔드를 라우팅해도 토큰 단위 연속 출력.
대시보드	http://localhost:8081/dashboard에서 지출, 티어 구성, 라우팅 정확도, 로그, 각 제공업체의 상태, 실행 가능한 인사이트를 표시합니다.	어디서 비용이 절약되고 라우팅을 개선할 수 있는지 시각화.
선택적 Graphify 코드 분석	Rust 기반 AST 분석(19개 언어)으로 라우터에 더 풍부한 복잡성 점수를 제공할 수 있습니다.	코드가 많은 워크로드에서 티어 결정 정확도 향상.
프로덕션 노브	속도 제한, 정책 예산, 부하 분산, 메모리 캐시, 관리자 핫 리로드 등.	게이트웨이를 CI 또는 장기 실행 서버에서 사용할 수 있게 합니다.

---

시작하기(README의 빠른 시작)

1. 설치 – npm install -g lynkr(또는 Homebrew, Docker, 원라이너 스크립트).
2. 마법사 실행 – lynkr init이 선택한 제공업체와 티어 정의가 포함된 .env를 생성합니다.
3. 서비스 시작 – lynkr start(localhost:8081에서 수신).
4. 도구 지정 – 예: Cursor에서 모델 URL을 http://localhost:8081/v1로 설정하고 아무 API 키 값을 설정합니다.
5. 선택 사항 – lynkr wrap claude로 Claude Code를 자동으로 래핑합니다.

---

제한 사항 및 미해결 포인트(README에서)

• 게이트웨이는 업스트림 제공업체의 가격 데이터에 의존합니다. 알 수 없는 모델은 재정의를 제공하지 않는 한 cost_usd=null로 기록됩니다.
• 일부 고급 기능(Graphify, 부하 분산, 메모리 시스템)은 추가 설치 단계(Rust 툴체인, 추가 환경 변수)가 필요합니다.
• 벤치마크는 LiteLLM 및 RouterArena와 비교하여 제시됩니다. 실제 절감액은 자체 트래픽 패턴과 모델 선택에 따라 달라집니다.
• 서비스는 Node 20+로 작성되었으므로 최신 런타임과 대규모 로컬 모델을 위한 충분한 RAM이 필요합니다.

---

결론

Lynkr는 실제 프로덕션 준비가 된 게이트웨이로, 개발자가 무료 로컬 LLM과 유료 클라우드 API를 결합하고, 페이로드를 자동으로 압축하고, 반복 쿼리를 캐시하고, 각 요청을 처리할 수 있는 가장 저렴한 티어로 라우팅할 수 있게 합니다. README는 상세한 설치, 구성, 벤치마킹 정보를 제공하여 AI 추론/에이전트 도구 분야의 진정한 오픈 소스 프로젝트입니다.