PacificAI/langtest

何を解決するか

LangTest は、データサイエンティストが言語モデルが安全で、堅牢かつ公平であることを保証するのを支援するように設計されています。単なる精度を超えたモデル品質の評価に使える即効性のあるツールの不足に焦点を当てており、特にデモグラフィックバイアス、毒性、現実世界の条件下での一貫性の欠如といった問題に対処します。

動作方法

このライブラリは、60種類以上の異なるテストの生成、実行、レポートを可能にする Harness オブジェクトを提供します。NER、翻訳、テキスト分類など幅広いNLPタスクをサポートし、Hugging Face、Spark NLP、およびさまざまなLLMプロバイダー（OpenAI、Cohere、AI21、Azure-OpenAI）と統合されています。

対象ユーザー

生産システムにモデルをデプロイする前に、堅牢性、公平性、安全性を厳密にテストする必要があるNLP実務者やデータサイエンティスト向けに構築されています。

主な特徴

• 包括的なテスト: 堅牢性、バイアス、表現、公平性、精度をカバー。
• 自動データ拡張: 特定のモデルに関して、テスト結果に基づいてトレーニングデータを自動的に拡張可能。
• LLM対応: 要素の正確性、奉仕的態度、毒性など、LLM専用のテストを提供。
• 広範な統合: 複数のNLPフレームワークとLLM APIと連携可能。