MLGroupJLU/LLM-eval-survey

それは何か：
大規模言語モデル（LLM）—ChatGPTのようなチャットボットの背後にあるAIシステム—を評価する方法に関する、厳選された生きた研究論文とリソースのコレクションです。これは正式なサーベイ論文（READMEにリンクあり）に付随することを意図しており、論文自体よりも頻繁に更新されます。

含まれるもの：
リポジトリは、何を評価するか、どこで評価するかという2つの大きな質問に答えるカテゴリに論文を整理しています。「何を」セクションは、自然言語処理（感情分析、推論、翻訳、質問応答）、ロバスト性とバイアス、社会科学、医学などの分野をカバーしています。各エントリは元の論文にリンクしています。「どこで」セクションは目次にリストされていますが、READMEの抜粋には詳細がありません。

誰が作ったか：
大学（吉林大学、北京大学、西湖大学など）とマイクロソフトリサーチの研究者チームです。READMEには著者と所属がリストされています。

使い方：
分類された論文リストを閲覧したり、ニュース更新で新しいバージョンを追跡したり、プルリクエストやイシューを提出して貢献することもできます。プロジェクトはまた、ロバスト性テスト用のPromptBenchなどの関連ツールも紹介しています。

重要なポイント：
これは、LLM評価を理解または実施したい人向けの参照ハブであり、ソフトウェアツールではありません。静的arXiv論文を超えてリストを最新に保つことに焦点を当てています。