오픈 Ko-LLM 리더보드

TL;DR

Hugging Face와 Upstage는 한국어 대형 언어 모델(LLM)을 위한 투명하고 경쟁적인 생태계를 조성하도록 설계된 특화된 평가 플랫폼인 Open Ko-LLM 리더보드를 소개했습니다. 비공개 테스트 세트와 한국어 전용 벤치마크를 활용함으로써, 이 리더보드는 데이터 오염을 방지하고 한국어의 언어적·문화적 뉘앙스를 정확하게 측정하는 것을 목표로 합니다.

비공개 테스트 세트를 통한 공정 벤치마킹

Open Ko-LLM 리더보드는 폐쇄형 테스트 세트 환경을 사용함으로써 기존 벤치마크와 차별화됩니다. 많은 리더보드가 공개 테스트 세트를 사용하지만, Open Ko-LLM 리더보드는 데이터 세트를 비공개로 유지하여 테스트 세트 오염(모델이 평가 데이터에 대해 학습되는 흔한 문제)을 방지하고 모델 간 보다 공정한 비교를 보장합니다.

문화적·언어적 적합성을 보장하기 위해, 플랫폼은 Ko-MMLU와 같이 한국어와 문화의 고유한 특성을 반영하도록 특별히 변환된 벤치마크 데이터셋을 활용합니다.

평가 작업 및 메트릭

리더보드는 LLM의 다양한 역량을 측정하기 위해 다섯 가지 별도 평가 방법을 사용합니다:

• Ko-ARC (AI2 Reasoning Challenge): 과학적 사고, 복합 추론 및 문제 해결 능력을 평가하는 객관식 테스트입니다. 성능은 정확도 비율로 측정됩니다.
• Ko-HellaSwag: 상황 이해와 가장 가능성이 높은 다음 시나리오를 예측하는 능력을 평가합니다. 생성형 또는 객관식 형식으로 진행될 수 있으며, 정확도가 주요 메트릭입니다.
• Ko-MMLU (Massive Multitask Language Understanding): 다양한 주제와 분야에 걸친 광범위한 객관식 테스트로, 일반 언어 이해도와 다재다능성을 측정합니다. 메트릭에는 전체 정확도와 분야별 성능이 포함됩니다.
• Ko-Truthful QA: 모델이 옵션 중에서 사실 정확성과 진실성을 판별하는 능력을 테스트하는 객관식 벤치마크이며, 선택 정확도로 측정됩니다.
• Ko-CommonGEN V2: Open Ko-LLM 리더보드를 위해 특별히 개발된 맞춤형 벤치마크로, 모델이 한국의 상식 및 문화적 관련성에 부합하는 출력을 생성할 수 있는지를 평가합니다.

채택 현황 및 모델 성능 추세

출시 후 5개월 만에 Open Ko-LLM 리더보드는 1,000개 이상의 모델 제출을 기록했으며, 이는 원래 영어 Open LLM 리더보드(4,000개 이상 모델)의 1/4에 해당합니다. 참여자는 개인 연구자, 학술 기관(예: KAIST와 고려대학교) 및 기업(예: KT, 롯데 정보통신, 야놀자) 등입니다.

주요 성능 관찰 결과는 다음과 같습니다:

• Top Performers: 교차 언어 전이 또는 한국어 특화 파인튜닝(예: Upstage의 SOLAR)을 거친 모델과 LLaMa2, Yi, Mistral과 같은 강력한 기본 모델을 기반으로 파인튜닝된 모델이 가장 뛰어난 결과를 보여줍니다.
• Notable Milestones: KT의 Mi:dm 7B 모델이 7B 파라미터 이하 모델 중 순위를 1위로 차지했으며, 공개 사용이 가능하도록 제공되었습니다.

인프라 도전 과제 및 향후 비전

리더보드는 현재 16개의 A100 80GB GPU에서 운영되고 있습니다. 이 인프라는 300억 파라미터를 초과하는 모델에 대해 병목 현상을 초래하는데, 높은 연산 요구량으로 인해 대기 시간이 길어지는 경우가 많습니다.

앞으로 조직자는 현재 벤치마킹의 세 가지 주요 한계를 해결하기 위해 리더보드를 발전시킬 계획입니다:

1. 데이터 노후화: SQUAD 및 KLEU와 같은 고정된 데이터셋을 넘어 현재 시점을 반영하는 데이터를 도입합니다.
2. 실제 적용: B2B 및 B2C 서비스에서 발견되는 엣지 케이스와 이상치를 처리하는 모델의 능력을 측정하는 방법을 개발합니다.
3. 과적합: 모델이 테스트 세트에만 최적화되는 "리더보드 중심" 접근 방식을 줄이고 실제 활용도를 높입니다.

궁극적인 목표는 실제 사용 사례와 강하게 연관된 벤치마크를 도입함으로써 학술 연구와 실용적 적용 사이의 격차를 메우는 것입니다.