0xPlaygrounds/rig

⚙️🦀 Build modular and scalable LLM Applications in Rust

해결하는 문제

Rig는 Rust에서 LLM 기반 애플리케이션을 구축하는 데 있어 통합적이고 사용하기 쉬운 방법을 제공하여, 여러 모델 제공자와 벡터 스토어를 통합하기 위해 필요한 반복 코드를 줄입니다. 개발자는 특정 제공자의 API에 종속되지 않고 확장 가능하고 모듈식 AI 에이전트를 만들 수 있습니다.

작동 방식

Rig는 두 가지 주요 구성 요소로 아키텍처를 분리합니다: rig-core는 메시지, 완성 모델, 벡터 스토어에 대한 제공자 중립적인 계약을 처리하고, rig-agent는 프롬프트 스트리밍, 타입 안전한 훅, 상태 관리를 지원하는 에이전트를 위한 오케스트레이션 계층을 제공합니다. 이 구조는 기본적인 요구 사항에는 포터블 코어를 사용하거나, 복잡한 워크플로우에는 전체 에이전트 런타임을 사용할 수 있도록 유연성을 제공합니다.

대상 사용자

모듈식 아키텍처를 통해 다양한 LLM 제공자와 벡터 데이터베이스를 지원하는 프로덕션 수준의 AI 에이전트, 챗봇, RAG 애플리케이션을 구축하고자 하는 Rust 개발자들.

주요 특징

  • 통합 인터페이스: 단일 API를 통해 20개 이상의 모델 제공자와 10개 이상의 벡터 스토어에 접근 가능.
  • 에이전트 워크플로우: 다중 턴 스트리밍, 프롬프팅, 에이전트 실행을 위한 직렬화 가능한 상태 기계 지원.
  • 브라우저 지원: 포터블 코어와 클래식 런타임 모두에서 Browser-WASM (wasm32-unknown-unknown) 호환.
  • 광범위한 기능 지원: LLM 완성, 임베딩, 음성 인식, 오디오 생성, 이미지 생성 모두 지원.
  • 표준화: GenAI Semantic Convention과 완전 호환.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트