truera/trulens

해결하는 문제

TruLens는 개발자가 AI 에이전트가 실패하는 지점을 식별하고 품질을 희생하지 않으면서 비용을 절감할 수 있는 기회를 찾도록 도와줍니다. 잘못된 답변에 대한 추적 가능한 원인과 다양한 앱 버전 간의 가시적인 트레이드오프를 제공하여 평가를 "직감"에서 데이터 기반으로 전환합니다.

작동 방식

TruLens는 OpenTelemetry 네이티브 계측을 사용하여 함수 호출, LLM 생성, 도구 호출을 포함한 애플리케이션의 모든 단계를 구조화된 스팬으로 기록합니다. 그런 다음 "LLM 판정기"(피드백 함수)를 적용하여 특정 지표를 기준으로 이러한 단계에 점수를 매깁니다. 이러한 평가는 앱이 작동하는 동안 인라인으로 실행하거나 사전 수집된 데이터 세트에 대해 배치 모드로 실행할 수 있습니다.

대상 사용자

성능을 모니터링하고, 실패를 디버깅하고, 비용을 최적화해야 하는 RAG(검색 증강 생성) 시스템과 에이전트 애플리케이션을 구축하는 AI 엔지니어와 팀.

주요 기능

• OpenTelemetry 네이티브: 트레이스는 Jaeger, Grafana Tempo, Datadog과 같은 모든 OTLP 백엔드로 이식 가능합니다.
• 에이전트 평가기: 추론 일관성, 실행 효율성, 계획 준수, 도구 사용을 측정하는 7가지 특화 평가기.
• RAG 트라이어드: 근거성 및 맥락 관련성을 포함한 핵심 RAG 지표에 대한 기본 제공 지원.
• 유연한 평가: Run API를 통한 실시간 인라인 점수 산정과 오프라인 배치 평가를 모두 지원합니다.
• 광범위한 통합: 주요 LLM 제공업체(OpenAI, Gemini, Bedrock 등) 및 LangChain, LlamaIndex와 같은 프레임워크와 호환됩니다.

요약

LLM 판정기를 사용하여 에이전트 실패를 추적하고 AI 애플리케이션의 비용-품질 트레이드오프를 최적화하는 OpenTelemetry 네이티브 평가 및 관찰 가능성 프레임워크입니다.

제목

AI 에이전트 실패를 추적하고 비용-품질 트레이드오프를 최적화하기 위한 OpenTelemetry 네이티브 관찰 가능성 및 평가 프레임워크