RubyLLM: Ruby 中用於多供應商 AI 整合的統一框架

RubyLLM: Ruby 中用於多供應商 AI 整合的統一框架

RubyLLM 是一個統一的 Ruby 框架，旨在消除管理多個、臃腫的 AI 客戶端函式庫所帶來的摩擦。透過為多樣化的 AI 供應商提供單一介面，它讓開發者能夠構建聊天機器人、AI 代理（AI agents）、RAG 應用程式和內容生成器，而無需為每種不同的 API 慣例或回應格式重寫程式碼。

主要 AI 供應商的統一介面

RubyLLM 將各種 AI API 的複雜性抽象化為一組一致的方法。它支援廣泛的供應商，包括：

  • 商業 API： OpenAI, xAI, Anthropic, Gemini, VertexAI, Bedrock, DeepSeek, Mistral, OpenRouter, 以及 Perplexity。
  • 本地與專用基礎設施： Ollama, GPUStack, 以及任何與 OpenAI 相容的 API。

為了將開銷降至最低，該框架僅依賴三個核心依賴項：Faraday, Zeitwerk, 以及 Marcel。

核心能力與實作

RubyLLM 為常見的 AI 任務提供高階 API，讓開發者能以極小的配置變更來切換模型或供應商。

對話式 AI 與多模態輸入

開發者可以使用 .ask 方法啟動對話並發送多模態查詢。該框架會處理各種檔案類型，包括圖片、影片、音訊檔案和 PDF，並自動為模型提取內容。

chat = RubyLLM.chat
chat.ask "What's the best way to learn Ruby?"
chat.ask "What's in this image?", with: "ruby_conf.jpg"
chat.ask "Analyze these files", with: ["diagram.png", "report.pdf", "notes.txt"]

進階 AI 工作流

除了簡單的聊天之外，RubyLLM 還支援複雜的 AI 模式：

  • 結構化輸出： 使用 RubyLLM::Schema，開發者可以定義 JSON schema 以確保模型以可預測的格式回傳數據。
  • AI 代理與工具使用： RubyLLM::Tool 類別允許開發者將 Ruby 方法暴露給 AI。這些工具可以封裝進 RubyLLM::Agent 類別中，以建立具有特定指令和能力的重複使用助手。
  • 專用任務： 存在專門的方法用於圖片生成 (RubyLLM.paint)、嵌入生成 (RubyLLM.embed)、音訊轉錄 (RubyLLM.transcribe) 以及內容審核 (RubyLLM.moderate)。
  • 串流： 透過 block 支援即時回應的區塊式交付。

Rails 整合

RubyLLM 透過 acts_as_chat 巨集提供與 Ruby on Rails 的深度整合，這讓 ActiveRecord 模型可以作為聊天對話階段（chat sessions）運作。它還提供了安裝生成器以及一個可選的、即插即用的聊天 UI。

class Chat < ApplicationRecord
  acts_as_chat
end

chat = Chat.create! model: "claude-sonnet-4"
chat.ask "What's in this file?", with: "report.pdf"

技術洞察與生產環境回饋

回報在生產環境中使用該框架的使用者強調了其優雅與易用性，並將其開發者體驗與 Vercel 的 AI 框架進行比較。然而，社群也注意到了一些技術權衡與限制：

  • 可觀測性與追蹤： 一些使用者發現難以針對該函式庫進行真正的追蹤可觀測性實作。有一個值得注意的模式，即重試機制可能會刪除底層模型以保持歷史紀錄的整潔，這可能會掩蓋 API 呼叫的確切序列。
  • 供應商特定調優： 雖然統一介面非常強大，但一些開發者指出，在完成（completions）過程中，調整平台特定的參數（例如 temperature, effort, 或 max tokens）仍需要平台特定的配置。
  • xAI 整合： 一位使用者回報了關於 xAI 快取的問題，因為它僅支援 completions API 並會錯誤地回傳 thought signatures。

專案治理

為了防止範圍蔓延（scope creep），RubyLLM 專案採用了嚴格的功能請求流程。使用者提交功能請求時，必須解釋他們如何探索過替代方案，以及為什麼該特定功能屬於核心框架而非插件或外部函式庫。

Sources