허깅페이스 허브에서의 평가

허깅페이스는 Evaluation on the Hub라는 AutoTrain 기반 무코드 도구를 출시했습니다. 이 도구를 사용하면 사용자가 어떤 모델이든, 어떤 데이터셋이든, 어떤 메트릭이든 직접 허깅페이스 생태계 내에서 평가할 수 있습니다. 이 도구는 현대 AI에서 발생하고 있는 “평가 위기”를 해소하고, 수동 평가의 기술적 장벽을 없애며 보고된 결과의 재현성을 향상시킵니다.

허브에서 모델 평가 표준화

Evaluation on the Hub는 평가 과정을 허브 인프라에 직접 통합함으로써 모델 성능 측정을 간소화합니다. 구현 차이나 버그에 취약할 수 있는 자체 보고 결과에 의존하는 대신, 이 도구는 검증된 성능 메트릭을 모델 카드 메타데이터에 직접 인코딩할 수 있게 합니다.

주요 기능은 다음과 같습니다:

• 최적 모델 찾기: 사용자는 데이터셋별 리더보드를 통해 최고 성능 모델을 확인하거나 아직 리스트에 올라오지 않은 새로운 모델을 평가할 수 있습니다.
• 베이스라인 구축: 사용자는 새로운 데이터셋을 허브에 업로드하고 코드를 작성하지 않고도 여러 모델에 대한 베이스라인을 실행할 수 있습니다.
• 교차 데이터셋 검증: 모델 개발자는 하나의 모델을 여러 관련 데이터셋에 걸쳐 평가하여 일반화 능력을 테스트할 수 있습니다.

기술 통합 및 워크플로우

Evaluation on the Hub는 Spaces와 AutoTrain의 조합을 통해 기존 허깅페이스 생태계에 통합됩니다. 워크플로우는 일반적으로 데이터셋 페이지에서 시작되어 model-evaluator Space로 이어집니다.

평가 작업 구성

많은 데이터셋이 원클릭 평가를 가능하게 하는 메타데이터를 제공하지만, 사용자는 Advanced configuration을 통해 작업을 수동으로 구성할 수도 있습니다. 여기에는 다음이 포함됩니다:

• 작업 및 스플릿 선택: 사용할 특정 머신러닝 작업, 데이터셋, 데이터 스플릿을 정의합니다.
• 데이터셋 매핑: 데이터셋 컬럼을 표준 형식에 매핑합니다(예: 이미지가 들어 있는 컬럼과 라벨이 들어 있는 컬럼을 지정).
• 메트릭 선택: 작업에 기본으로 연결된 메트릭(예: 정확도 또는 F1 점수) 중에서 선택하거나, Matthew's correlation coefficient와 같은 특수 메트릭을 선택합니다.

실행 및 결과

사용자가 평가할 모델을 선택하고 작업을 제출하면, 백엔드(AutoTrain 기반)가 자동으로 평가를 실행합니다. 결과는 Pull Request (PR) 형태로 모델 카드에 다시 제출되어 성능 데이터가 투명하고 검증된 상태로 유지됩니다. 사용자는 또한 평가 메타데이터를 데이터셋 카드에 복사해 커뮤니티의 향후 평가를 간소화할 수 있습니다.

AI 평가 위기 대응

허깅페이스는 Evaluation on the Hub를 AI 벤치마킹의 시스템적 문제에 대한 대응책으로 위치시킵니다. 회사는 하드웨어와 알고리즘은 빠르게 발전했지만 평가 방법은 정체되어 있어 다음과 같은 심각한 문제를 초래했다고 지적합니다:

• 벤치마크 포화: 모델이 특정 테스트 세트에서 인간보다 빠르게 능가하면서 새로운 벤치마크가 충분히 만들어지지 못하고 있습니다.
• 취약성 및 편향: 높은 리더보드 점수가 종종 AI 시스템 내에 존재하는 악의적 편향이나 취약성을 가릴 수 있습니다.
• 재현성 부족: 개방성과 표준화된 구현이 부족해 보고된 결과를 재현하기 어렵습니다.
• 배포 고려 부족: 효율성·공정성 등 실용적 고려사항이 원시 정확도 메트릭에 비해 종종 무시됩니다.

향후 로드맵

Evaluation on the Hub는 허깅페이스 evaluate 라이브러리와 RAFT·GEM과 같은 기존 벤치마크를 기반으로 구축되었습니다. 허깅페이스는 이 도구를 더 많은 작업을 지원하도록 확장하고, 보다 포괄적이고 신뢰할 수 있으며 재현 가능한 평가 패러다임을 향해 나아가기 위해 새로운 데이터 측정 도구를 통합할 계획입니다.