0xPlaygrounds/rig
⚙️🦀 Build modular and scalable LLM Applications in Rust
해결하는 문제
Rig는 확장 가능하고 모듈식인 LLM 기반 애플리케이션 개발을 단순화하기 위해 설계된 Rust 라이브러리입니다. 다양한 AI 모델 및 벡터 저장소를 통합하는 데 필요한 보일러플레이트를 줄여, 개발자가 특정 제공업체에 종속되지 않고 에이전트 워크플로우를 구축할 수 있도록 통합된 인터페이스를 제공합니다.
작동 방식
Rig는 아키텍처를 두 가지 주요 구성 요소로 분리합니다. 메시지, 완료 모델 및 벡터 저장소에 대해 제공업체 중립적인 계약을 제공하는 rig-core와 프롬프팅, 스트리밍 및 상태 관리를 포함한 에이전트 오케스트레이션을 처리하는 rig-agent입니다. 이러한 모듈식 접근 방식 덕분에 개발자는 루트 rig 파사드를 사용하여 핵심 추상화와 고수준 에이전트 빌더 모두에 액세스할 수 있습니다.
대상 사용자
여러 모델 제공업체 및 벡터 데이터베이스에 걸쳐 일관된 API가 필요한 AI 에이전트, 챗봇 및 RAG 기반 애플리케이션을 구축하는 Rust 개발자.
주요 특징
- 통합 인터페이스: 단일 API를 통해 20개 이상의 모델 제공업체 및 10개 이상의 벡터 저장소 통합에 액세스할 수 있습니다.
- 에이전트 워크플로우: 멀티턴 스트리밍, 프롬프팅 및 에이전트 실행을 위한 직렬화 가능한 상태 머신을 지원합니다.
- 폭넓은 기능 지원: LLM 완료, 임베딩, 전사, 오디오 생성 및 이미지 생성을 처리합니다.
- WASM 호환성: 이식 가능한 코어와 클래식 런타임은 WebAssembly와 완전히 호환됩니다.
- 표준화된 관측 가능성: OpenTelemetry의 GenAI Semantic Convention과 완전한 호환성을 제공합니다.