EdinburghNLP/awesome-hallucination-detection

解決する課題

このプロジェクトは、大規模言語モデル (LLMs) やマルチモーダル大規模言語モデル (MLLMs) が「ハルシネーション（幻覚）」を起こす傾向、つまり事実と異なる情報、提供されたコンテキストと矛盾する情報、または視覚データによって裏付けられていない情報を生成してしまう問題に対処します。本リポジトリは、これらのエラーを検出し、測定し、緩和するために設計された研究論文、データセット、手法を集約した中央リポジトリとして機能します。

仕組み

このリポジトリは、ハルシネーションを管理するための最先端の研究をさまざまなアプローチに分類しています。これには以下が含まれます：

• 検出： 外部ラベルを必要とせずに、モデル内部の信号（アテンションマップ、エントロピー、隠れ状態など）を分析して潜在的なハルシネーションにフラグを立てる手法。
• 緩和： モデルの活性化を「ステアリング（誘導）」する、不正確な応答を引き起こす特定の層を抑制する、または強化学習を使用して事実の正確性を優先させる技術。
• 評価： モデルが事実の主張、科学的批判、マルチモーダルデータをどの程度適切に処理できるかをテストするために設計されたベンチマークと指標。同時に、ROUGE のような古い評価手法の限界も指摘しています。

対象読者

このリソースは、より信頼性が高く、事実を認識できる LLM アプリケーションの構築に取り組んでいる AI 研究者、開発者、エンジニア向けです。特に、RAG (Retrieval-Augmented Generation) システムを実装しようとしている方や、本番環境でのモデルの事実整合性を向上させたい方に役立ちます。

ハイライト

• 厳選された研究： ハルシネーションの検出と緩和を網羅した 145 以上の学術論文コレクション。
• 多様な手法： トレーニング不要の推論技術、RL ベースのファインチューニング、アテンショングラフのトポロジー分析などを含みます。
• マルチモーダルサポート： 視覚情報をステアリングすることで、視覚言語モデルにおけるハルシネーションを低減するための特定の研究を特集しています。
• ベンチマークへのアクセス： モデルの事実性と批判スキルをテストするためのデータセットやリーダーボードへのリンクを提供します。
• 実用的なツール： 既存のワークフローに統合可能なオープンソースコードやライブラリを紹介しています。