Fast-Editor/Lynkr

해결하는 문제

Lynkr는 AI 코딩 도구의 토큰 비용과 지연 시간을 줄이기 위해 설계된 LLM 게이트웨이입니다. 사용자가 단일 제공업체에 종속되는 것을 방지하고, 도구가 최적화되지 않은 원시 토큰을 전송하여 높은 비용과 비효율적인 모델 사용이 발생하는 것을 방지합니다.

작동 방식

Lynkr는 AI 도구(Cursor, Claude Code, Codex 등)와 LLM 제공업체 사이에서 프록시 역할을 합니다. 다음과 같은 메커니즘을 통해 트래픽을 최적화합니다:

• 티어 라우팅 (Tier Routing): anchor-embedding 분류 및 로컬 LLM 분류기를 사용하여 요청 복잡도를 분석하고, 단순한 작업은 저렴한/로컬 모델로, 복잡한 작업은 강력한 클라우드 모델로 라우팅합니다.
• 토큰 압축 (Token Compression): TOON/RT액 압축을 사용하여 대규모 JSON 도구 결과(예: grep 또는 파일 읽기)의 크기를 최대 84%까지 줄입니다.
• 시맨틱 캐싱 (Semantic Caching): 유사한 쿼리에 대한 응답을 저장하여, 반복되거나 유사한 요청을 토큰 소모 없이 300ms 이내에 처리할 수 있도록 합니다.
• 랩 모드 (Wrap Mode): 기존 AI 코딩 어시스턴트를 래핑하여 도구 자체의 코드 변경 없이 이러한 최적화를 적용할 수 있습니다.
• 학습 루프 (Learning Loop): kNN 라우터와 밴딧 시스템을 사용하여 실제 트래픽 결과에 따라 라우팅 임계값을 조정합니다.

대상 사용자

API 비용을 낮추고, 구독 한도를 최대화하며, 클라우드 제공업체와 함께 로컬 모델(Ollama, llama.cpp 등)을 통합하고자 하는 AI 코딩 어시스턴트(Cursor, Claude Code, Codex, Cline, Continue) 사용자 개발자.

주요 특징

• 상당한 토큰 절감: JSON 도구 결과에서 최대 84%, 도구 중심 요청에서 53% 적은 토큰 사용.
• 폭넓은 제공업체 지원: Ollama와 같은 로컬 옵션부터 AWS Bedrock, Azure, OpenAI와 같은 클라우드 서비스를 포함하여 13개 이상의 제공업체와 호환됩니다.
• 코드 변경 없음: 도구 설정에서 base URL을 재정의함으로써 통합이 이루어집니다.
• 실시간 대시보드: 지출, 절감액 및 라우팅 정확도를 추적하기 위한 내장 텔레메트리.
• 고급 코드 인텔리전스: 라우팅 결정을 개선하기 위해 AST 기반의 구조적 코드 분석을 수행하는 Graphify와의 선택적 통합 가능.