Experiential オープンソース・モデル・ゲートウェイが LLM の統合アクセス、ルーティング、および最適化を実現

Experiential の役割とその重要性

Experiential は、ホスト型、BYOK（Bring-Your-Own-Key）、またはローカルで実行される言語モデルの任意の組み合わせに対してリクエストを転送できる、単一の OpenAI 互換 API を提供します。同時に、オペレーターはユーザーアクセス、支出制限、およびモデル選択に対してきめ細かな制御を行うことができます。本プラットフォームは、OpenTelemetry トレースとして本番環境のトラフィックを収集することで、カスタムルーターを自動的にトレーニングしたり、モデルをファインチューニングしたりして、品質、レイテンシ、およびコストを向上させることができます。

標準提供されるコア機能

統合コントロールプレーン

OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, OpenRouter, またはセルフホストされたオープンソース・モデルのすべてが、同じ /v1/chat/completions エンドポイントを通じてアクセス可能です。
ゲートウェイは、予算上限（例：デフォルトの $50 コマンド予算）を含む、ユーザーごと、エージェントごと、およびユースケースごとのポリシーを適用します。

トラフィック駆動型最適化

OpenTelemetry トレースはエージェントから取り込まれ、匿名で保存されます。プロンプト、認証情報、または生のコンテンツは、テレメトリ・サービスに送信されることはありません。
exp build ウィザードは、これらのトレースに基づいたシミュレーション・プロジェクト・ルーターを作成し、exp optimize は、観察されたワークロードに適切に対応するために、オープンソース・モデルを（Tinker ツールを介して）ファインチューニングできます。

低オーバーヘッド・ルーティング

ベンチマークによると、ゲートウェイは BYOK リクエストに対して 1 ms 未満 のレイテンシを追加するだけであり、高スループットなアプリケーションに適しています。
キャッシング戦略についてはリポジトリに詳細が記載されていませんが、コミュニティ・メンバーからは、トークンレベルのキャッシングとそのコストへの影響について説明を求められています。

クイックスタート

ローカル開発

pip install experiential
exp   # runs the setup wizard and prints a one‑time API key
export EXP_GATEWAY_KEY=...   # use the printed key
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

ウィザードは、パブリック・エイリアス（例：opus-5）とデフォルトの支出予算を自動的に作成します。

ホスト型プラットフォーム

マネージド・サービスは https://platform.experientiallabs.ai で提供されており、同じ OpenAI 互換 API を https://api.experientiallabs.ai/v1 で公開しています。
オンボーディング手順には、LLM トレースのアップロード、あらゆるプロバイダーの BYOK キーの接続、および既存のコーディング・エージェント（Claude Code, Cursor, Codex, Aider, etc.）を新しいエンドポイントに再設定すること（repointing）が含まれます。

実トラフィックからの最適化\n1. トレースの収集 – エージェントから OTLP JSONL ファイルをエクスポートするか、、公開ターミナル・タスク・データセットを使用します：

curl -L -o traces.otel.jsonl \
  https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

プロジェクト・ルーターの構築 – インタラクティブ・ビルダーを実行します：
```
exp build support-agent   # selects providers, models, budget, and trace file
```
モデルのファインチューニング – ルーター・トレースを収集した後、Tinker を呼び出してカスタム・モデルを作成します：
```
exp optimize model support-agent
```

結果として得られたモデルは、同じゲートウェイを通じて提供されることができ、観察と改善のループを閉じます。

テレメトリ・ポリシー

Experiential は、PostHog を介した匿名の集計テレメトリを提供します。
テレメトリには、ユーザーのプロンプト、モデル名、認証情報、または生のコンテンツは決して含まれません。

ユーザーは、以下のコマンドでテレメトリを切り替えることができます：

exp config telemetry status   # view current state
exp config telemetry disable  # turn off
exp config telemetry enable   # turn on

設定は、ローカルの .exp/settings.toml に保存されます。

コミュニティ・フィードバックのハイライト

"Finally an open source tool doing this!" – ashermania

"The gateway adds under 1 ms for BYOK requests. Amazing!" – ceroxylon

"Is it similar to LiteLLM? If so, what sets it apart?" – cheema33

"Caching is definitely one of the hardest parts to get right..." – foremerge

"Curious if you initially had this in Python and then rewrote in Rust?" – 23david

これらのコメントは、3 つの繰り返されるテーマを強調しています：(1) オープンソースでモデルに依存しないゲートウェイの新規性、(2) 超低レイテンシ、および (3) キャッシング戦略や実装言語に関するオープンな質問。

類似プロジェクトとの比較

LiteLLM – 複数のプロバイダーをラップする軽量なラッパーを提供しますが、、内蔵のトラフィック駆動型ルーターや最適化ループが欠れています。
Enterpilot/GoModel, Maximhq/Bifrost, BerriAI/LiteLLM – マルチプロバイダー・ルーティングを提供します。Experiential は、テレメトリ・ガイド型ルーター・ビルダーと Tinker を介した統合ファインチューニングによって差別化を図っています。
vLLM Semantic Router – オープンソース推論のためのセマンティック・ルーティングに焦点を当てています。Experiential は、BYOK、予算管理、およびホスト型 SaaS オプションを提供することで、これを補完します。

開発と貢献

uv sync --extra dev               # install dev dependencies
uv run ruff format --check .      # code formatting check
uv run ruff check .               # linting
uv run ty check                   # type checking



uv run pytest -q                  # test suite

貢献ガイドライン、エージェント・コンベンション、および API ドキュメントは、リポジトリの AGENTS.md と SETUP.md ファイルに維持されています。

展望

Experiential は、オープンソース・ゲートウェイが、不均一な LLM フリートのコントロールプレーンとして、また、継続的なモデル改善のためのデータ収集点として機能できることを示しています。より多くの組織がマルチプロバイダー戦略を採用するにつれ、ルーティング、支出制限の適用、および本番環境のトラフィック・データからモデル学習へのフィードバック・ループを閉じることが自動化されたツールが、不可欠なインフラストラクチャとなるでしょう。