crmne/ruby_llm

解決的問題

RubyLLM 是一個原生 Ruby 框架，旨在簡化將 AI 功能整合至 Ruby 與 Rails 應用程式的過程。它提供單一且一致的 API，可與多個 AI 提供者（如 OpenAI、Anthropic、Google，以及透過 Ollama 的本地模型）互動，無需為每個功能撰寫特定於提供者的程式碼。

工作原理

此框架作為抽象層，讓開發者能使用相同的 Ruby 方法，在不同提供者之間執行各種 AI 任務。它與 Ruby on Rails 深度整合，支援 Active Record 用於持久化、Active Storage 用於檔案附加，以及 Hotwire 用於串流回應。它在背後自動處理模型註冊表、工具呼叫、使用量追蹤與批次處理等複雜任務。

適用對象

適合希望使用簡潔、原生 Ruby 語法，將 AI 功能（如聊天機器人、智能體與多模態 AI）整合至既有應用程式的 Ruby 與 Rails 開發者。

主要亮點

• 多模態支援： 透過統一介面處理文字、影像、音訊、影片與 PDF。
• 智能體功能： 支援建立具特定指示與工具的可重用智能體，並包含工具執行的人工審核（人機協同）。
• 廣泛的提供者生態： 內建支援 17+ 個提供者，包括 OpenAI、Azure、xAI、Anthropic、Gemini、Bedrock 與 DeepSeek。
• Rails 整合： 提供安裝產生器、資料庫遷移與可選的開箱即用聊天 UI。
• 進階 AI 工具： 包含嵌入、重排序、OCR、內容審核與透過 Ruby 模式產生結構化輸出等功能。
• 運維工具： 內建成本追蹤、令牌計數、提示詞快取與基於纖維的非同步併發處理。