get-convex/agent

해결하는 문제

이 프로젝트는 지속적인 채팅 스레드를 유지하고, 도구 호출을 처리하며, RAG(Retrieval-Augmented Generation)를 통합할 수 있는 AI 에이전트를 구축하기 위한 프레임워크를 제공합니다. 장시간 실행되는 에이전트 워크플로우를 UI에서 분리하면서도 클라이언트가 실시간으로 반응형 업데이트를 받을 수 있도록 보장합니다.

작동 방식

이 컴포넌트는 정적 또는 동적 워크플로우에서 에이전트가 사용하는 스레드와 메시지를 관리합니다. 특정 프롬프팅, 모델, 도구 호출을 처리하기 위해 LLM에 대한 추상화를 사용합니다. 클라이언트와의 동기화를 위해 전통적인 HTTP 스트리밍이 아닌 웹소켓을 통해 텍스트와 객체를 스트리밍합니다. 자동으로 대화 컨텍스트를 포함하며, 스레드 내 메시지에 대한 하이브리드 벡터/텍스트 검색을 지원하고, 외부 소스로부터 프롬프트 보강을 위한 RAG 기법을 통합합니다.

대상 사용자

Convex 플랫폼에서 AI 기반 애플리케이션을 개발하고 있으며, 에이전트 워크플로우, 대화 기록, 실시간 업데이트를 내구성 있고 신뢰할 수 있는 방식으로 관리할 필요가 있는 개발자들.

주요 특징

• 지속적인 스레드: 사용자와 에이전트(인간 에이전트 포함) 간에 공유되는 메시지를 관리.
• 반응형 스트리밍: 비동기 함수에서 텍스트와 객체를 효율적으로 스트리밍하기 위해 웹소켓 사용.
• 통합된 RAG: 하이브리드 벡터/텍스트 검색을 지원하고, RAG 컴포넌트와 통합하여 프롬프트 보강 기능 제공.
• 내구성 있는 워크플로우: 에이전트와 사용자 간에 걸쳐 다단계 작업을 가능하게 함.
• 개발자 도구: 프롬프트 반복에 사용할 수 있는 에이전트 플레이그라운드, 청구용 사용량 추적, LLM 제공업체의 제한을 관리하는 레이트 제한 기능 포함.