adrida/tracer
TRACER: replace 90%+ of your LLM classification calls with a traditional ML model. Formal parity guarantees. Self-improving.
解決的問題
TRACER 透過將「簡單」的輸入路由至快速且輕量的傳統機器學習模型（代理模型），僅將「困難」或不確定的輸入延遲至昂貴的 LLM，從而降低基於 LLM 的分類流程的成本與延遲。這讓開發者能在大幅降低 API 成本與推論時間的同時，維持教師 LLM 的品質。
工作原理
TRACER 使用嵌入、代理模型與接受門的流程：
- Fit：在現有的 LLM 分類追蹤（輸入-標籤對）上訓練一系列候選傳統機器學習模型（如邏輯迴歸或梯度提升樹）。
- Gate：附加一個學習到的接受門，用於預測代理模型是否與教師 LLM 一致。
- Calibrate：調整接受門閾值，以滿足特定的目標一致性（例如，與 LLM 保持 95% 一致）。
- Guard：若代理模型在保留資料上無法達成品質標準，則阻止部署。
- Flywheel：LLM 處理的每個延遲輸入都會產生新的追蹤，用於重新訓練代理模型，隨著時間推移提升覆蓋範圍。
適用對象
使用 LLM 建構分類系統的開發者與 ML 工程師，希望在不犧牲準確性的前提下降低營運成本與延遲。
亮點
- 成本效益：可將 90% 以上的流量路由至傳統 ML，大幅減少 LLM API 呼叫。
- 自我改善：採用持續學習飛輪機制，延遲呼叫會反饋至訓練資料集，實現模型持續優化。
- 形式化一致性保證：確保代理模型在定義的閾值內與教師 LLM 輸出保持一致。
- 可觀測性：包含「watch」功能，可將 LLM 呼叫記錄為本地或透過 Tracer Cloud 的 OpenTelemetry GenAI span。
- 多語言支援：提供 Python 套件與 JavaScript/Node.js 整合，支援可觀測性與路由。
相關
- 專案
- 專案
- 專案
- 專案