MagnivOrg/prompt-layer-library

何を解決するか

PromptLayer は LLM アプリケーションの管理レイヤーであり、プロンプトのバージョン管理、テスト、監視という課題を解決します。開発者はアプリケーションコードにプロンプトをハードコードするのではなく、中央のリポジトリでプロンプトテンプレートを一元管理でき、プロンプトとエージェントのパフォーマンスを評価・トレースするためのツールを提供します。

仕組み

このライブラリは PromptLayer API に接続する Python SDK として機能します。主に以下の3つの方法で利用できます：

1. プロンプト管理：中央リポジトリからプロンプトテンプレートを取得し、コードの再デプロイなしにプロンプトを更新可能。
2. プロキシ：OpenAI、Anthropic、Google GenAI、AWS Bedrock などのプロバイダ SDK をラップして、リクエストとレスポンスを自動的にログ記録。
3. トレーシング：OpenTelemetry を使用して GenAI SDK を自動インストルメント化し、スパンとトレースを PromptLayer にエクスポートして監視・デバッグに活用。

さらに、LLM の出力に対する品質スコアを設定・移行・計算するための専用 API「Table Scorecards」も提供しています。

対象ユーザー

プロンプトのバージョン管理、本番ログの監視、評価を実行してリグレッションを防ぎたい、LLM ベースのアプリケーションやエージェントを開発する開発者。

特徴

• マルチプロバイダ対応：OpenAI、Anthropic、Google GenAI、AWS Bedrock に対する自動インストルメンテーション。
• 中央集約型プロンプトテンプレート：API を通じた取得により、プロンプト工学をアプリケーションロジックから分離。
• OpenTelemetry 統合：業界標準のトレーシングを使用して関数呼び出しと LLM とのやり取りを監視。
• メモリ内キャッシュ：プロンプトテンプレートのオプションキャッシュにより API のレイテンシを削減し、障害時にもフォールバックを提供。
• エージェント統合：openai-agents および claude-agent-sdk 用の特別なトレーシングユーティリティ。