comet-ml/opik

何を解決するか

Opik は、LLM アプリケーションや AI エージェントをプロトタイプから本番環境に移行するのを支援するオープンソースプラットフォームです。エージェントシステムに一般的な複雑で多段階のワークフローを観測・評価・最適化する難しさに対処し、呼び出しのトレース、プロンプトの管理、パフォーマンスの監視を一元的に実行できる場所を提供します。

仕組み

Opik は、セルフホスティングまたはクラウド経由で利用可能なフルスタックの観測性ツールキットを提供します。Python/TypeScript SDK と OpenTelemetry のサポートにより、LLM 呼び出し、ツール実行、リトリーバルステップの詳細なトレースを取得できます。Web UI ではトレースツリーを可視化でき、プロンプトの実験用プレイグラウンド、データセットと「LLM-as-a-judge」メトリクスをサポートする評価フレームワークが備わっています。

対象ユーザー

MLエンジニアやAIチーム向けに設計されており、フレームワークに依存しない観測性ツールを自社インフラ上で実行できるようにすることで、データプライバシーの確保とベンダー依存の回避を可能にします。

主な特徴

• フルプラットフォームのオープンソース: バックエンドとWebアプリケーション全体がApache-2.0ライセンスで、セルフホスティングが無料です。
• エージェントトレース: 複数ステップのエージェント活動とツール呼び出しの詳細な可視化を、完全なトレースツリーで実現。
• LLM-as-a-Judge: ハルシネーション検出、モデレーション、RAG評価（例：回答の関連性、コンテキストの正確性）のための組み込みメトリクス。
• CI/CD統合: PyTest統合により、コミットごとにLLMパイプラインの評価を実行可能。
• 高いスケーラビリティ: 1日4000万件以上のトレースを処理できるように設計されています。