adrida/tracer

해결하는 문제

TRACER는 "쉬운" 입력을 빠르고 가벼운 전통적 머신러닝 모델(서rogate)로 라우팅하고, "어려운" 또는 불확실한 입력만 고비용 LLM에 위임함으로써 LLM 기반 분류 파이프라인의 비용과 지연을 줄입니다. 이로써 개발자는 교사 LLM의 품질을 유지하면서 API 비용과 추론 시간을 크게 절감할 수 있습니다.

작동 방식

TRACER는 임베딩, 서rogate 모델, 수용 게이트의 파이프라인을 사용합니다:

1. Fit: 기존 LLM 분류 트레이스(입력-라벨 쌍)를 기반으로 다양한 후보 전통적 ML 모델(로지스틱 회귀, 그래디언트 부스팅 트리 등)을 훈련합니다.
2. Gate: 서rogate가 교사 LLM과 일치할지를 예측하는 학습된 수용 게이트를 부착합니다.
3. Calibrate: 특정 타겟 일치율(예: LLM과 95% 일치)을 충족하도록 수용 게이트의 임계값을 조정합니다.
4. Guard: 보류된 데이터에서 서rogate가 품질 기준을 충족하지 못할 경우 배포를 방지합니다.
5. Flywheel: LLM이 처리한 모든 위임된 입력은 새로운 트레이스가 되어 서rogate 재훈련에 사용되며, 시간이 지남에 따라 커버리지가 증가합니다.

대상 사용자

LLM을 사용해 분류 시스템을 구축하는 개발자 및 ML 엔지니어로, 정확도를 희생하지 않고 운영 비용과 지연을 줄이고자 하는 분들.

주요 특징

• 비용 효율성: 90% 이상의 트래픽을 전통적 ML로 라우팅 가능해 LLM API 호출을 극적으로 줄입니다.
• 자기 개선형: 위임된 호출이 다시 학습 데이터로 피드백되는 지속적 학습 프라이휠을 채택합니다.
• 형식적 일치 보장: 정의된 임계값 내에서 서rogate가 교사 LLM의 출력과 일치함을 보장합니다.
• 관측 가능성: OpenTelemetry GenAI 스팬으로 로컬 또는 Tracer Cloud를 통해 LLM 호출을 기록하는 "watch" 기능을 제공합니다.
• 다국어 지원: 관측성과 라우팅을 위한 Python 라이브러리와 JavaScript/Node.js 통합을 제공합니다.