0xPlaygrounds/rig

⚙️🦀 Build modular and scalable LLM Applications in Rust

解決的問題

Rig 為在 Rust 中建構 LLM 驅動的應用程式提供了一種統一且易用的方法,減少整合多個模型提供者與向量儲存所需的重複程式碼。它讓開發者能在不被特定提供者 API 所綁定的情況下,建構可擴展且模組化的 AI 代理。

工作原理

Rig 將其架構分為兩個主要元件:rig-core 負責處理訊息、完成模型與向量儲存的提供者中立契約,而 rig-agent 則提供建構代理的編排層,支援提示串流、類型安全的鈎子與狀態管理。此結構讓開發者可依需求選擇使用可攜式核心或完整代理執行時。

適用對象

希望使用模組化架構建構生產級 AI 代理、聊天機器人與 RAG 應用的 Rust 開發者,該架構支援廣泛的 LLM 提供者與向量資料庫。

主要亮點

  • 統一介面:透過單一 API 訪問 20+ 模型提供者與 10+ 向量儲存。
  • 代理工作流程:支援多輪串流、提示處理以及可序列化的狀態機用於代理執行。
  • 瀏覽器支援:相容 Browser-WASM(wasm32-unknown-unknown)的可攜式核心與傳統執行時。
  • 廣泛功能支援:支援 LLM 完成、嵌入、轉錄、音訊產生與影像產生。
  • 標準化:完全相容 GenAI 語意規範。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案