MLGroupJLU/LLM-eval-survey

이것은 무엇인가:
대규모 언어 모델(LLM)—ChatGPT와 같은 챗봇 뒤에 있는 AI 시스템—을 평가하는 방법에 대한 엄선된 살아있는 연구 논문 및 리소스 모음입니다. 이는 공식 설문 논문(README에 링크됨)을 보완하기 위한 것이며, 논문 자체보다 더 자주 업데이트됩니다.

포함 내용:
저장소는 무엇을 평가할지, 어디서 평가할지라는 두 가지 큰 질문에 답하는 범주로 논문을 구성합니다. '무엇' 섹션은 자연어 처리(감정 분석, 추론, 번역, 질문 응답), 견고성 및 편향, 사회 과학, 의학 등의 영역을 다룹니다. 각 항목은 원본 논문에 연결됩니다. '어디서' 섹션은 목차에 나열되지만 README 발췌문에는 자세히 설명되지 않습니다.

누가 만들었는가:
대학(지린 대학, 베이징 대학, 웨스트레이크 등)과 마이크로소프트 리서치의 연구자 팀입니다. README에는 저자와 소속이 나열되어 있습니다.

사용 방법:
분류된 논문 목록을 탐색하고, 뉴스 업데이트를 통해 새 버전을 확인하고, 풀 리퀘스트나 이슈를 제출하여 기여할 수도 있습니다. 프로젝트는 또한 견고성 테스트를 위한 PromptBench와 같은 관련 도구를 안내합니다.

핵심 포인트:
이것은 LLM 평가를 이해하거나 수행하려는 모든 사람을 위한 참조 허브이며, 소프트웨어 도구가 아닙니다. 정적 arXiv 논문을 넘어 목록을 최신 상태로 유지하는 데 중점을 둡니다.