PacificAI/langtest
Deliver safe & effective language models
何を解決するか
LangTest は、データサイエンティストが言語モデルが安全で、堅牢かつ公平であることを保証するのを支援するように設計されています。単なる精度を超えたモデル品質の評価に使える即効性のあるツールの不足に焦点を当てており、特にデモグラフィックバイアス、毒性、現実世界の条件下での一貫性の欠如といった問題に対処します。
動作方法
このライブラリは、60種類以上の異なるテストの生成、実行、レポートを可能にする Harness オブジェクトを提供します。NER、翻訳、テキスト分類など幅広いNLPタスクをサポートし、Hugging Face、Spark NLP、およびさまざまなLLMプロバイダー（OpenAI、Cohere、AI21、Azure-OpenAI）と統合されています。
対象ユーザー
生産システムにモデルをデプロイする前に、堅牢性、公平性、安全性を厳密にテストする必要があるNLP実務者やデータサイエンティスト向けに構築されています。
主な特徴
- 包括的なテスト: 堅牢性、バイアス、表現、公平性、精度をカバー。
- 自動データ拡張: 特定のモデルに関して、テスト結果に基づいてトレーニングデータを自動的に拡張可能。
- LLM対応: 要素の正確性、奉仕的態度、毒性など、LLM専用のテストを提供。
- 広範な統合: 複数のNLPフレームワークとLLM APIと連携可能。
関連
- プロジェクト
- プロジェクト
evidentlyai/evidentlyオープンソースの Python フレームワークで、ML および LLM 駆動システムの評価・テスト・モニタリングを行い、開発者がデータドリフトを検出し出力品質を保証できるよう支援します。
- プロジェクト
- プロジェクト
- プロジェクト
confident-ai/deepevalDeepEvalは、LLMを活用したアプリケーション（エージェント、チャットボット、RAGパイプライン）に対してpytestスタイルのテストを記述できるオープンソースのPythonフレームワークです。G-EvalやJevEvalのようなLLM-as-a-judgeスコアを含む30以上の組み込みメトリクスに加え、エージェント、RAG、マルチモーダル、バイアス関連のチェック機能を提供します。メトリクスはローカルで実行することも、任意のLLMを使用して実行することも可能です。このライブラリはLangChain、CrewAI、OpenAI、Anthropic、AWS AgentCore、Google ADK、LlamaIndex、さらにはTypeScript AI SDKと統合されており、デコレータやコールバックを使用して完全な実行トレースをキャプチャできます。シンプルなCLI (`deepeval test run …`) はCI/CDで動作し、オプションのConfident AIプラットフォームによりクラウドレポートとガバナンス機能が追加されます。`pip install -U deepeval` でインストールし、`LLMTestCase` オブジェクトを作成してメトリクスを選択し、実行するだけで、LLMの品質テストを従来のソフトウェアテストと同様に体系化できます。