OpenRouterTeam/ai-sdk-provider

The OpenRouter provider for the Vercel AI SDK contains support for hundreds of models through the OpenRouter chat and completion APIs.

解决的问题

该项目在 Vercel AI SDK 与 OpenRouter 之间搭建桥梁,使开发者能够通过单一标准化接口访问 OpenRouter 上超过 300 个大型语言模型和多种嵌入模型。无需为 OpenRouter 上每个独立的模型提供商编写自定义集成代码。

工作原理

它作为 Vercel AI SDK 的一个提供者实例。通过导入 openrouter 提供者,开发者可以在 SDK 的标准函数(如 generateTextstreamTextembed)中指定 OpenRouter 模型标识符(例如 openai/gpt-4o)。它支持高级配置选项,例如传递额外的请求体、启用 Anthropic 特有的提示缓存和测试功能(如细粒度工具流式传输),并可与 OpenRouter 特有的插件(如 Response Healing)集成。

适用人群

使用 Vercel AI SDK 的 JavaScript 和 TypeScript 开发者,希望在不改变核心应用逻辑的前提下,轻松切换或使用大量不同的 LLM 和嵌入模型。

主要亮点

  • 海量模型访问:通过一个 SDK 访问 300+ 个 LLM 和多个嵌入模型。
  • 结构化输出支持:与 Response Healing 插件集成,可自动修复格式错误的 JSON 响应。
  • 高级模型控制:支持 Anthropic 提示缓存和细粒度工具流式传输,降低大 JSON 结构中的延迟。
  • 详细使用追踪:内置使用量统计功能,包括成本和 token 分解,支持 BYOK(自带密钥)场景。
  • 调试工具:提供调试模式,可回显上游请求体,帮助排查 API 调用问题。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目