HowieHwong/TrustLLM

解決する課題

TrustLLM は、大規模言語モデル (LLM) の信頼性を測定するための標準化された方法を提供します。単一の指標に頼るのではなく、真実性、安全性、公平性、堅牢性、プライバシー、倫理という6つの重要な側面からモデルを評価します。これにより、研究者や開発者は、ハルシネーション（幻覚）、個人情報の漏洩、バイアスの発生といったモデルの特定の弱点を特定できます。

仕組み

このツールキットは、3段階のパイプラインで動作します：

1. データ取得: 信頼性の6つの側面をテストするために設計されたプロンプトを含む、包括的なベンチマークデータセットをダウンロードします。
2. 生成: API (OpenAIなど) またはローカルの重み (Hugging Face経由) を使用して、ターゲットモデルにプロンプトを入力し、応答を保存します。
3. 評価: スコアリングエンジンが、ルールベースのチェック、分類器、埋め込み、またはAIベースの判定を組み合わせて生成された応答を処理し、最終的な信頼性スコアを算出します。

対象ユーザー

デプロイ前や学術研究の一環として、LLMの信頼性と安全性を厳密にベンチマークする必要があるAI研究者および開発者向けに設計されています。

主な特徴

• 6次元分析: 真実性、安全性、公平性、堅牢性、プライバシー、倫理を網羅。
• 柔軟なバックエンド: ローカルモデルの重みとAPIベースの生成の両方をサポート。
• Python API: オーケストレーションのためのコマンドラインインターフェース (CLI) とPythonライブラリを提供。
• 自動レポート生成: 生成の進捗状況と最終的な評価スコアの両方についてHTMLレポートを生成します。