Fast-Editor/Lynkr

해결하는 문제

Lynkr는 AI 코딩 도구의 토큰 비용과 지연을 줄이기 위해 설계된 LLM 게이트웨이입니다. 사용자가 특정 공급자에 고정되지 않도록 하며, 도구가 비효율적인 원시 토큰 스트림을 전송하는 것을 막아, 높은 청구액과 구독 자원 낭비를 방지합니다.

작동 방식

Lynkr는 AI 도구(Cursor, Claude Code, Codex 등)와 LLM 공급자 사이의 프록시 역할을 합니다. 여러 메커니즘을 통해 트래픽을 최적화합니다:

• 티어 라우팅: 복잡도(간단, 중간, 복잡, 추론)에 따라 요청을 다양한 모델로 자동 라우팅합니다. 간단한 작업은 저렴하거나 로컬 모델로, 복잡한 작업은 강력한 클라우드 모델로 전환됩니다.
• 토큰 압축: TOON/RTK 압축을 사용해 큰 JSON 도구 결과(예: grep 또는 파일 읽기)의 토큰을 최대 84%까지 줄입니다.
• 의미 기반 캐싱: 반복되는 쿼리를 저장해 300ms 미만으로 0개의 청구 토큰으로 제공합니다.
• 랩 모드: AI 코딩 어시스턴트가 라우팅 및 압축 기능을 사용할 수 있도록 하지만, 어시스턴트 자체의 코드 변경이 필요하지 않습니다.
• 학습 루프: 실제 트래픽 결과를 기반으로 kNN 라우터와 밴디트 시스템을 사용해 라우팅 임계값을 조정합니다.

대상 사용자

API 비용을 낮추고 싶고, Ollama 또는 llama.cpp를 통해 로컬 모델을 활용하며, 구독 사용을 최적화하고 싶은 개발자들(Cursor, Claude Code, Codex, Cline, Continue 등).

주요 특징

• 다중 공급자 지원: Ollama, OpenAI, Azure, AWS Bedrock, DeepSeek 등 14개 이상의 공급자와 호환됩니다.
• 코드 변경 없음: 기존 도구에서 기본 URL 오버라이드를 통해 통합 가능합니다.
• 실시간 대시보드: 지출, 절감 효과, 라우팅 정확도, 공급자 상태를 추적할 수 있는 내장 텔레메트리.
• 스트리밍 지원: SSE 스트리밍에 대한 네이티브 패스스루 및 포맷 간 변환을 지원합니다.
• 옵션 코드 인텔리전스: Graphify와 통합해 AST 기반의 복잡도 점수를 사용해 라우팅 결정을 개선합니다.