langchain-ai/openevals

Readymade evaluators for your LLM apps

何を解決するか

OpenEvals は、LLM アプリケーションの評価（evals）を書くための標準化された出発点を提供します。開発者が手動テストから脱却できるように、モデル出力の品質、正しさ、安全性を生産環境に投入する前にプログラム的に判断するためのツールを提供します。

仕組み

このライブラリは主に「LLM-as-judge（LLMを審査者として使用）」アプローチを採用しており、高度に能力の高いモデルを用いて、特定の基準に基づいて他のモデルの出力を評価します。create_llm_as_judge 関数により、入出力をプロンプト形式に整形し、審査者の応答を構造化されたスコアとコメントに解析します。また、正確一致、Levenshtein距離、埋め込み類似度などの非LLM評価者もサポートしています。

対象ユーザー

Python や TypeScript で LLM ベースのアプリケーションを開発している開発者で、開発中にパフォーマンスやバージョン低下を信頼できる方法で測定したい方を対象としています。

特徴

  • 事前構築済みプロンプト: 品質、安全性、セキュリティ、RAG（正しさ、有用性、根拠の有無、検索の関連性）用の即時利用可能なプロンプトを含みます。
  • 柔軟な審査: 2値スコア、連続する浮動小数点スコア、またはカスタムスコア選択肢のセットをサポートします。
  • 広範な評価範囲: テキスト以外にも、構造化出力（正確一致）、コード（Pyright/Mypy による型チェック）、エージェントの遷移を評価するための評価者を含みます。
  • マルチモーダル対応: 添付ファイルや画像を含む出力の評価が可能です。
  • シミュレーションツール: マルチターン対話のテストに使えるユーザーのシミュレーション機能を備えています。

関連

  • プロジェクト
    braintrustdata/autoevals

    LLM-as-a-judge、RAG 専用メトリクス、ヒューリスティック手法を統一インターフェースで利用できる AI モデル出力評価用ライブラリ。

  • プロジェクト
    agentscope-ai/OpenJudge

    AIアプリケーションおよびエージェント向けのオープンソース評価フレームワーク。50以上のプロダクション対応グレーダーとツールのライブラリを提供し、カスタム評価基準を生成できます。

  • プロジェクト
    confident-ai/deepeval

    DeepEvalは、LLMを活用したアプリケーション（エージェント、チャットボット、RAGパイプライン）に対してpytestスタイルのテストを記述できるオープンソースのPythonフレームワークです。G-EvalやJevEvalのようなLLM-as-a-judgeスコアを含む30以上の組み込みメトリクスに加え、エージェント、RAG、マルチモーダル、バイアス関連のチェック機能を提供します。メトリクスはローカルで実行することも、任意のLLMを使用して実行することも可能です。このライブラリはLangChain、CrewAI、OpenAI、Anthropic、AWS AgentCore、Google ADK、LlamaIndex、さらにはTypeScript AI SDKと統合されており、デコレータやコールバックを使用して完全な実行トレースをキャプチャできます。シンプルなCLI (`deepeval test run …`) はCI/CDで動作し、オプションのConfident AIプラットフォームによりクラウドレポートとガバナンス機能が追加されます。`pip install -U deepeval` でインストールし、`LLMTestCase` オブジェクトを作成してメトリクスを選択し、実行するだけで、LLMの品質テストを従来のソフトウェアテストと同様に体系化できます。

  • プロジェクト
    UKGovernmentBEIS/inspect_ai

    英国AIセキュリティ研究所が開発した大規模言語モデルの評価用フレームワーク。200以上の事前構築済み評価と、モデルによるスコアリングのサポートを備えています。

  • プロジェクト
    langfuse/langfuse-python

    LLMアプリケーション向けに、可観測性、トレーシング、プロンプト管理、評価ツールを提供するLangfuseプラットフォーム用のPython SDK。