0xPlaygrounds/rig
⚙️🦀 Build modular and scalable LLM Applications in Rust
해결하는 문제
Rig는 Rust에서 LLM 기반 애플리케이션을 구축하는 데 있어 통합적이고 사용하기 쉬운 방법을 제공하여, 여러 모델 제공자와 벡터 스토어를 통합하기 위해 필요한 반복 코드를 줄입니다. 개발자는 특정 제공자의 API에 종속되지 않고 확장 가능하고 모듈식 AI 에이전트를 만들 수 있습니다.
작동 방식
Rig는 두 가지 주요 구성 요소로 아키텍처를 분리합니다: rig-core는 메시지, 완성 모델, 벡터 스토어에 대한 제공자 중립적인 계약을 처리하고, rig-agent는 프롬프트 스트리밍, 타입 안전한 훅, 상태 관리를 지원하는 에이전트를 위한 오케스트레이션 계층을 제공합니다. 이 구조는 기본적인 요구 사항에는 포터블 코어를 사용하거나, 복잡한 워크플로우에는 전체 에이전트 런타임을 사용할 수 있도록 유연성을 제공합니다.
대상 사용자
모듈식 아키텍처를 통해 다양한 LLM 제공자와 벡터 데이터베이스를 지원하는 프로덕션 수준의 AI 에이전트, 챗봇, RAG 애플리케이션을 구축하고자 하는 Rust 개발자들.
주요 특징
- 통합 인터페이스: 단일 API를 통해 20개 이상의 모델 제공자와 10개 이상의 벡터 스토어에 접근 가능.
- 에이전트 워크플로우: 다중 턴 스트리밍, 프롬프팅, 에이전트 실행을 위한 직렬화 가능한 상태 기계 지원.
- 브라우저 지원: 포터블 코어와 클래식 런타임 모두에서 Browser-WASM (
wasm32-unknown-unknown) 호환. - 광범위한 기능 지원: LLM 완성, 임베딩, 음성 인식, 오디오 생성, 이미지 생성 모두 지원.
- 표준화: GenAI Semantic Convention과 완전 호환.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트