lemony-ai/cascadeflow

해결하는 문제

cascadeflow는 AI 에이전트를 위한 프로세스 내 인텔리전스 레이어로, 품질을 희생하지 않고 비용과 지연 시간을 줄이는 것을 목표로 합니다. 모든 쿼리에 비싼 플래그십 모델을 사용하는 비효율성에 대응하며, 많은 작업은 더 작고 효율적인 모델로 처리할 수 있음을 활용합니다. 또한 에이전트의 실행 루프 내부에서 작동하기 때문에 외부 프록시가 제공할 수 없는 런타임 제어 및 비즈니스 로직 삽입을 제공합니다.

작동 방식

시스템은 품질 검증을 포함한 예측 실행 전략을 사용합니다:

1. 예측 실행: 먼저 작은, 빠르고 저렴한 모델을 사용하여 쿼리를 해결하려고 시도합니다.
2. 품질 검증: 응답은 완전성, 신뢰도, 형식(예: JSON), 의미적 일치성 등의 설정 가능한 임계값과 비교됩니다.
3. 동적 업그레이드: 검증에 실패하면 시스템은 자동으로 요청을 더 큰, 더 강력한 플래그십 모델로 전환합니다.
4. 지속적 학습: 모델 호출, 도구 결과, 품질 점수를 추적하여 미래의 라우팅 결정을 최적화합니다.

대상 사용자

비용, 지연 시간, 예산을 최적화하면서도 높은 품질을 유지하고자 하는 AI 에이전트 개발자를 위한 것입니다. LangChain, CrewAI, PydanticAI, Vercel AI SDK와 같은 주요 프레임워크와 호환되며, OpenAI, Anthropic, Groq 포함 17개 이상의 제공업체를 지원합니다.

주요 특징

• 프로세스 내 하네스: 외부 프록시의 10–50ms 네트워크 RTT를 회피하고, 5ms 미만의 오버헤드로 작동합니다.
• 런타임 강제 조치: 현재 컨텍스트에 따라 allow, switch_model, deny_tool, stop 등의 직접적인 조치를 취할 수 있습니다.
• 다차원 최적화: 비용, 지연 시간, 품질, 예산, 준수, 에너지 소비를 동시에 최적화합니다.
• 의미적 품질 검증: 응답이 원래 쿼리와 일치하는지 확인하기 위한 선택적 ML 기반 유사성 검사 기능.
• 프레임워크 독립성: 다양한 에이전트 프레임워크와 LLM 제공업체와 통합 가능합니다.