benchflow-ai/awesome-evals

소개

benchflow-ai/awesome-evals는 AI 에이전트 구축 및 평가에 관한 리소스를 엄선한 목록입니다. 논문, 블로그 게시물, 강연, 강의, 도구 및 벤치마크를 수집하고, 각 항목에 내용과 중요성을 설명하는 짧은 주석을 추가했습니다. 이 프로젝트는 BenchFlow 사에서 유지 관리하며, 외부 기여를 환영합니다.

단순 링크 목록과의 차이점

README는 이 목록이 단순한 링크 모음이 아님을 강조합니다. 모든 리소스에는 설명이 포함되어 있고, 모든 URL은 검증되었으며, 인용문은 원문 그대로 유지됩니다. 또한, 죽은 링크나 버려진 도구는 방치하지 않고 삭제합니다. 현재 443개 이상의 큐레이션된 링크와 143개의 심층 독서 노트가 포함되어 있습니다. 두 가지 마커가 사용됩니다: 🆕는 2025~2026년에 출시되거나 업데이트된 리소스, ⚠️는 주의 사항(예: 검증되지 않은 URL)을 나타냅니다.

목록 구축 방법

README에 따르면, 큐레이터는 다음과 같은 방법으로 목록을 구성했습니다:

• 4단계 재귀적 인용 크롤링: 11,600편의 논문을 조사하고 인용 빈도순으로 순위를 매겨 해당 분야의 학술적 핵심을 도출했습니다.
• 업계 소스 타겟팅 발견: 인용 그래프에서 놓치기 쉬운 유명 실무자들의 블로그 등을 발굴했습니다.
• 47개의 강연 및 팟캐스트: 상세하게 녹취 및 요약하고, 원문 인용과 타임스탬프를 포함했습니다.
• 섹션별 격차 감사: 각 섹션에 누락된 자료가 없는지 확인하는 적대적 검증을 수행했습니다.

주요 내용

목록은 다음과 같은 섹션으로 구성되어 있습니다:

• 평가가 필요한 이유 (AI 에이전트 평가의 동기)
• 능력을 평가할 수 있다는 것이 곧 구축했다는 것과 같은 이유 (강화 학습과의 연관성)
• 모델 / 하네스 / 기술 분해
• 관측 가능성 및 에이전트의 어떤 측면을 평가할 수 있는지
• 평가 인프라 (데이터셋, 스코어러, 트레이싱, CI)
• 벤치마크 대 평가, 그리고 오염 및 리더보드 게임화와 같은 벤치마크 무결성 문제
• 평가 및 강화 학습 환경
• LLM-as-judge 및 검증기
• 에이전트별 평가 (궤적, 도구 사용, 다중 턴, 세계 상태)
• 안전성 및 적대적 평가 (프롬프트 인젝션, 탈옥)
• 강연, 팟캐스트 및 슬라이드
• 기업 및 산업 개요

코드북 포함

목록 외에도 저장소에는 PATTERNS.md가 포함되어 있습니다. 이는 LLM-as-judge(인간의 판단과 일치), pass@k/pass^k 지표, 오류 분석, 궤적 및 세계 상태 평가, CI 게이팅, 검증 가능한 보상과 같은 기술에 대한 실제 실행 가능한 코드와 예제가 담긴 플레이북입니다.

입문 세트

README는 12개의 리소스로 구성된 '필수 입문 세트'로 시작합니다. 여기에는 다음이 포함됩니다:

• Shunyu Yao의 에세이