OpenRouterTeam/ai-sdk-provider

解決的問題

本專案在 Vercel AI SDK 與 OpenRouter 之間建立橋樑，讓開發者能透過單一標準化介面，輕鬆存取 OpenRouter 上超過 300 個大型語言模型與多種嵌入模型。無需為 OpenRouter 上每個獨立的模型提供者撰寫自訂整合程式碼。

如何運作

它作為 Vercel AI SDK 的提供者實例。透過匯入 openrouter 提供者，開發者可在 SDK 的標準函式（如 generateText、streamText 和 embed）中指定 OpenRouter 模型識別碼（例如 openai/gpt-4o）。支援進階設定選項，例如傳遞額外的請求主體、啟用 Anthropic 特有的提示快取與測試功能（如細粒度工具串流），並可與 OpenRouter 特有的外掛程式（如 Response Healing）整合。

適用對象

使用 Vercel AI SDK 的 JavaScript 與 TypeScript 開發者，希望在不改變核心應用邏輯的情況下，輕鬆切換或使用大量不同的 LLM 與嵌入模型。

主要亮點

• 龐大模型存取：透過一個 SDK 存取 300+ 個 LLM 與多個嵌入模型。
• 結構化輸出支援：與 Response Healing 外掛程式整合，可自動修復格式錯誤的 JSON 回應。
• 進階模型控制：支援 Anthropic 提示快取與細粒度工具串流，降低大 JSON 結構中的延遲。
• 詳細使用追蹤：內建使用量會計功能，包含成本與 token 分解，支援 BYOK（自備金鑰）情境。
• 除錯工具：提供除錯模式，可回顯上游請求主體，協助診斷 API 呼叫問題。