SeekingDream/Static-to-Dynamic-LLMEval

解決する問題

大規模言語モデル（LLM）は、インターネットから収集された膨大なテキストで訓練されます。モデルをテストするための質問と回答が、偶然にもその訓練データに含まれてしまうことがあります。これはデータ汚染と呼ばれ、ベンチマークスコアを実際よりも良く見せてしまいます。従来の静的ベンチマーク（固定された質問セット）は、同じテスト項目が訓練データに現れる可能性があるため、特に脆弱です。このサーベイは、フィールドが静的ベンチマークから動的ベンチマークへ移行している様子をレビューすることでこの問題に対処します。動的ベンチマークは、新しいテスト項目を生成したり、時間とともに変化させて汚染を減らします。

仕組み

このリポジトリはサーベイ論文であり、ソフトウェアツールではありません。LLM評価に関する発表済み研究を体系的にレビューします。まず、静的ベンチマークをより安全にするための試み（カナリア文字列、暗号化、ラベル保護、事後検出など）を検討し、各方法の限界を説明します。次に、新しいテスト資料をその場で作成することで汚染を回避する動的ベンチマークを調査します。サーベイは動的アプローチを、時間的カットオフ、ルールベース生成（テンプレートベース、テーブルベース、グラフベース）、LLMベース生成（ベンチマーク書き換え、対話型評価、マルチエージェント評価）、ハイブリッド生成、ネットワークおよびシステム方法に分類します。このレビューに基づき、著者らは動的ベンチマークの設計原則を提案し、現在そのようなベンチマークを評価するための標準的な基準が存在しないことを指摘します。

対象読者

主にLLMベンチマークを構築または使用する研究者やエンジニアを対象としています。評価スイートを開発している方、モデルの能力を測定するテストを設計している方、またはモデルの報告スコアがテストデータの漏洩により過大評価されているのではないかと懸念している方にとって、このサーベイは現在の状況と未解決の問題の構造化された概要を提供します。

ハイライト

• データ汚染に対する静的および動的ベンチマーク手法の体系的な分類を提供します。
• 静的ベンチマークの緩和技術（カナリア文字列、暗号化、ラベル保護、事後検出）と、幅広い動的ベンチマークアプローチの両方をカバーしています。
• 重要なギャップを強調：動的ベンチマークの標準化された評価基準の欠如。
• 既存の方法の分析に基づいて、動的ベンチマークの最適な設計原則を提案します。
• 関連論文の厳選された大規模なリストとリンクを含み、プルリクエストによるコミュニティ貢献を歓迎します。