supermemoryai/llm-bridge
Interoperability between input formats of various LLMs, with observability, error handling, etc. built in.
它解决的问题
构建支持多个 LLM 提供商(如 OpenAI、Anthropic 和 Google)的应用程序很困难,因为每个提供商使用不同的 API 格式、流式协议和工具调用结构。LLM Bridge 充当通用翻译层,标准化这些请求和响应,使开发者能够编写一次代码,并在不同 AI 模型上部署,而不会丢失数据。
工作原理
LLM Bridge 使用通用中间格式来映射提供商特定的 API。您可以使用 toUniversal 将来自任何受支持提供商的传入请求转换为这种通用格式,然后使用 fromUniversal 将其导出为任何其他提供商的格式。该库处理多模态内容、工具调用、结构化输出和流式事件(SSE)在这些不同系统之间映射的复杂性,并通过重建机制确保零数据丢失。
适用对象
该库专为构建 AI 驱动的应用程序、代理或中间件的开发者设计,这些开发者需要同时支持多个 LLM 提供商,或在不重写核心集成逻辑的情况下轻松切换。
亮点
- 完美翻译:在 OpenAI、Anthropic、Google 和 OpenAI Responses API 格式之间进行双向转换。
- 零数据丢失:保留所有原始字段,实现完美的请求重建。
- 完整流式支持:包含解析器和发射器,用于处理不同提供商的服务器发送事件(SSE)。
- 高级功能:原生支持工具调用、多模态输入(图像/文档)、结构化输出和扩展思考块。
- 类型安全:使用 TypeScript 构建,提供严格的类型检查和健壮的错误处理。
相关
- 项目
- 项目
- 项目
- 项目