Experiential 開源模型閘道器，實現 LLM 的統一存取、路由與優化

Experiential 的功能與重要性

Experiential 提供單一且相容於 OpenAI 的 API，可將請求轉發至任何託管、BYOK（自備金鑰）或本地運行的語言模型組合，同時讓營運者能對使用者存取、支出限制與模型選擇進行細粒度的控制。透過將生產環境流量收集為 OpenTelemetry traces，該平台可以自動訓練自定義路由器，或微調模型以提升品質、效能、成本效益。

開箱即用的核心功能

統一控制平面

所有模型——OpenAI、Anthropic、Gemini、Azure、Bedrock、Fireworks、OpenRouter 或自託管的開源模型——皆可透過相同的 /v1/chat/completions 端點進行存取。
閘道器會執行針對使用者、代理程式（agent）及使用情境的策略，包括預算上限（例如：預設的 $50 指令預算）。

流量驅動的優化

從代理程式中攝取 OpenTelemetry traces 並進行匿名化儲存；任何提示詞（prompts）、憑證或原始內容皆不會被傳送到遙測服務中。
exp build 精靈會根據這些 traces 建立一個模擬專案路由器，而 exp optimize 則可以透過 Tinker 工具微調開源模型，以更好地服務於觀察到的工作負載。

低開銷路由

基準測試顯示，對於 BYOK 請求，閘道器增加的延遲低於 1 ms，非常適合高吞吐量的應用程式。
儲存庫中並未詳細說明快取策略，但社群成員已針對 token-level 快取及其成本影響提出了澄清請求。

快速上手

本地開發

pip install experiential
exp   # runs the setup wizard and prints a one‑time API key
export EXP_GATEWAY_KEY=...   # use the printed key
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

精靈會自動建立一個公開別名（例如：opus-5）和預設的支出預算。

託管平台

託管服務位於 https://platform.experientiallabs.ai，並在 https://api.experientiallabs.ai/v1 提供相同的 OpenAI 相容 API。
入職步驟包括上傳 LLM traces、連接任何供應商的 BYOK 金鑰，以及將現有的編碼代理程式（Claude Code、Cursor、Codex、Aider 等）重新指向新的端點。

從真實流量進行優化

收集 Traces – 從您的代理程式中匯出 OTLP JSONL 檔案，或使用公開的 terminal-tasks 資料集：

curl -L -o traces.otel.jsonl \
  https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

建立專案路由器 – 執行互動式建立器：

exp build support-agent   # selects providers, models, budget, and trace file

微調模型 – 在收集到路由 traces 之後，呼叫 Tinker 來建立自定義模型：
```
exp optimize model support-agent
```

實際產生的模型可以透過相同的閘道器提供服務，完成從觀察到改進的閉環。

遙測政策

Experiential 透過 PostHog 提供匿名的聚合遙測。
遙測內容絕不包含使用者提示詞、模型名稱、憑證或原始內容。

使用者可以透過以下指令切換遙測功能：

exp config telemetry status   # view current state
exp config telemetry disable  # turn off
exp config telemetry enable   # turn on

設定儲存在本地的 .exp/settings.toml 中。

社群回饋亮點

"Finally an open source tool doing this!" – ashermania

"The gateway adds under 1 ms for BYOK requests. Amazing!" – ceroxylon

"Is it similar to LiteLLM? If so, what sets it apart?" – cheema33

"Cashing is definitely one of the hardest parts to get right..." – foremerge

"Is it initially in Python and then rewrote in Rust?" – 23david

這些評論強調了三個重複出現的主題：(1) 開源、模型無關的閘道器之新穎性，(2) 極低延遲的重要性，以及 (3) 圍繞快取策略與實作語言的疑問。

與相似專案的比較

LiteLLM – 提供多個供應商的薄層封裝，但缺乏內建的流量驅動路由器與優化閉環。
Enterpilot/GoModel, Maximhq/Bifrost, BerriAI/LiteLLM – 提供多供應商路由；Experiential 的特色在於其遙測引導的路由建立器與透過 Tinker 進行的整合式微調。
vLLM Semantic Router – 專注於開源推理的語義路由；Experiential 則透過處理 BYOK、預算執行與託管 SaaS 服務來與之互補。

開發與貢獻

uv sync --extra dev               # install dev dependencies
uv run ruff format --check .      # code formatting check
uv run ruff check .               # linting
uv run ty check                   # type checking
uv run pytest -q                  # test suite

貢獻指南、代理程式慣例與 API 文件是在儲存庫的 AGENTS.md 與 SETUP.md 檔案中維護。

展望

Experiential 證明了開源閘道器可以同時作為異質 LLM 集群的控制平面，以及持續模型改進的數據收集點。隨著更多組織採用多供應商策略，能夠自動化路由、執行預算限制並在生產流量與模型訓練之間建立回饋閉環的工具將成為不可或缺的基礎設施。