experientiallabs/experiential

解決的問題

Experiential 是一個用於代理工作流程的開源網關與路由器。它透過提供單一的 OpenAI 相容 API，簡化了多個 LLM 提供商的管理，同時增加對使用者存取、模型選擇與支出上限的控制層。它也讓開發者能將生產流量（遙測資料）轉化為最佳化的路由器或專用模型。

工作原理

此系統作為代理與 LLM 提供商之間的代理。支援託管、Bring Your Own Key (BYOK) 與本地模型。使用者可使用設定精靈建置本地網關，或使用管理型託管平台。平台會從代理流量中收集 OpenTelemetry 追蹤資料，這些資料可用於建構模擬、優化路由器，或微調開源模型，以提升品質、速度與成本效益。

適用對象

專為開發 AI 代理，以及需要在不同使用情境中管理多個 LLM 提供商的開發者設計，他們需要對成本與存取權限進行集中控管。

主要亮點

• 統一 API： 透過一個 OpenAI 相容介面存取託管、BYOK 與本地模型。
• 控制平面： 管理哪些使用者與代理可使用特定模型，並設定支出預算。
• 流量轉優化： 將生產環境的 OpenTelemetry 追蹤資料轉化為自訂路由器或優化模型。
• 彈性部署： 可作為本地網關或管理型託管平台使用。