experientiallabs/experiential

解决的问题

Experiential 是一个用于代理工作流的开源网关和路由器。它通过提供单一的 OpenAI 兼容 API，简化了对多个 LLM 提供商的管理，同时增加了对用户访问、模型选择和支出限额的控制层。它还允许开发者将生产流量（遥测数据）转化为优化的路由器或专用模型。

工作原理

该系统充当代理与 LLM 提供商之间的代理。支持托管、自带密钥（BYOK）和本地模型。用户可以使用设置向导搭建本地网关，或使用托管的托管平台。平台会从代理流量中收集 OpenTelemetry 跟踪数据，这些数据可用于构建模拟、优化路由器或微调开源模型，以提升质量、速度和成本效益。

适用人群

专为开发 AI 代理以及需要在不同用例中管理多个 LLM 提供商的开发者设计，他们需要对成本和访问权限进行集中控制。

主要亮点

• 统一 API： 通过一个 OpenAI 兼容接口访问托管、BYOK 和本地模型。
• 控制平面： 管理哪些用户和代理可以使用特定模型，并设置支出预算。
• 流量转优化： 将生产环境的 OpenTelemetry 跟踪数据转化为自定义路由器或优化模型。
• 灵活部署： 可作为本地网关或托管的托管平台使用。