KRLabsOrg/LettuceDetect

何を解決するか

LettuceDetect は、AI 生成出力における幻覚を特定するためのスパンレベルのグランドリング検証器です。従来の検証器が全体の回答に対して単純な合格/不合格の判断を行うのに対し、このツールは提供されたソース証拠に基づいて、サポートされていない、矛盾している、または捏造された正確な文字スパンを特定します。

動作方法

このシステムはトークンレベルの分類を使用して、文脈と質問に基づいて回答の特定部分が幻覚であるかどうかを予測します。主に2つのモデルタイプを提供しています：

• エンコーダーモデル（例：ModernBERT や EuroBERT をベース）：高速でローカルに実行可能なモデルで、スパンごとにバイナリの幻覚フラグを提供します。
• 生成モデル（例：Qwen-2B をベース）：1回の処理で幻覚スパンを識別し、「矛盾」や「数値」などのカテゴリに分類できるモデルです。

対象ユーザー

RAG（リトリーブ・オーギュメント・ジェネレーション）システム、コードエージェント、ツールベースのAIワークフローを実装する開発者向けに設計されています。AIの回答の事実性を保証するために、高精度な幻覚検出が必要な方々に最適です。

特徴

• スパンレベルの精度：回答全体をフラグするのではなく、幻覚テキストの正確な文字オフセットを特定します。
• 言語の多様性：英語に加え、ドイツ語、フランス語、スペイン語、イタリア語、ポーランド語、中国語など複数の言語をサポートします。
• 幅広い適用範囲：散文、多言語QA、コードエージェントの回答（発明されたAPIや誤った値の検出）、開発者ツールの出力などに適用可能です。
• 柔軟なデプロイ：Python API、Web API、Streamlitデモを提供し、簡単に統合できます。