Hugging Face의 Artificial Analysis LLM 성능 리더보드

Hugging Face는 Artificial Analysis LLM 성능 리더보드를 통합하여 AI 엔지니어에게 100개가 넘는 서버리스 LLM API 엔드포인트의 품질, 가격, 속도를 비교할 수 있는 포괄적인 도구를 제공합니다. 이 통합을 통해 개발자는 응답성 및 비용을 최적화할 수 있으며, 이는 소비자 애플리케이션 및 에이전시 시스템에서 모델 정확도만큼이나 중요한 요소가 됩니다.

포괄적인 성능 지표

LLM 성능 리더보드는 AI 기반 애플리케이션의 정보에 입각한 의사결정을 돕기 위해 개방형 및 독점형 모델을 세 가지 주요 차원에서 평가합니다:

  • Quality: MMLU, MT-Bench, HumanEval 점수(모델 저자가 보고한)와 Chatbot Arena 순위에서 도출된 단순화된 지수.
  • Price: 입력/출력 토큰당 가격으로 보고됩니다. 호스팅 제공업체 간 직접 비교를 가능하게 하기 위해 입력 토큰 대비 출력 토큰 비율을 3:1로 가정한 "blended" 가격이 계산됩니다.
  • Speed: 두 가지 핵심 지표로 측정됩니다:
    • Throughput: 추론 시 토큰 출력 속도로, 초당 토큰 수(TPS)로 측정됩니다. 리더보드는 14일 기간 동안 중위값, P5, P25, P75, P95 값을 보고합니다.
    • Latency: 첫 토큰까지 소요 시간(Time to First Token, TTFT)으로, 초 단위로 측정됩니다. Throughput과 마찬가지로 14일 동안 중위값, P5, P25, P75, P95 값이 보고됩니다.

추가로, 리더보드는 Context Window를 추적합니다. 이는 모델이 동시에 처리할 수 있는 최대 토큰 수를 나타냅니다.

테스트 방법론 및 워크로드

데이터 정확성과 신뢰성을 보장하기 위해 Artificial Analysis는 엄격한 테스트 일정을 운영합니다:

  • Frequency: 모든 API 엔드포인트를 하루에 8회 테스트합니다.
  • Data Window: 수치는 최근 14일간의 중위값을 나타냅니다.
  • Workload Variations: 리더보드는 사용자가 프롬프트 길이(~100, ~1k, ~10k 토큰)와 병렬 쿼리 수(1개 쿼리 vs. 10개 병렬 쿼리)의 6가지 조합에 걸친 성능을 탐색할 수 있게 합니다.

시장 인사이트 및 모델 구분 (2024년 5월)

2024년 5월 현재, LLM 시장은 성능과 비용 면에서 큰 차이를 보이고 있습니다. 고급 모델인 Claude 3 Opus와 소형 모델인 Llama 3 8B 사이에는 가격 차이가 300배에 달합니다.

모델은 세 가지 품질 구간으로 구분됩니다:

  • High Quality (Higher Price/Slower): GPT-4 Turbo와 Claude 3 Opus.
  • Moderate Quality (Balanced Price/Speed): Llama 3 70B, Mixtral 8x22B, Command R+, Gemini 1.5 Pro, 그리고 DBRX.
  • Lower Quality (Faster/Cheaper): Llama 3 8B, Claude 3 Haiku, 그리고 Mixtral 8x7B.

전략적 적용: 속도, 가격, 품질의 균형 맞추기

속도와 가격을 최적화하면 전체 시스템 품질을 높일 수 있습니다. 복잡한 설계 패턴에서는 초기 처리에 소형·고속 모델을 사용하고 최종 합성에 대형 모델을 활용하는 조합이 단일 대형 모델에 의존하는 것보다 더 효과적일 수 있습니다.

예를 들어, 웹 브라우징 챗봇은 Llama 3 8B를 사용해 수십 개의 웹 페이지에서 하이라이트를 병렬로 추출함으로써 지연 시간과 비용을 줄이고, 이후 GPT-4 Turbo를 이용해 가장 관련성 높은 결과를 요약할 수 있습니다. 이 접근 방식은 비용 효율성을 높이고, 콘텐츠 양이 10배 늘어나도 더 높은 품질의 결과를 얻을 수 있습니다.

SUMMARY: Hugging Face는 Artificial Analysis LLM 성능 리더보드를 통합하여 AI 엔지니어에게 100개가 넘는 서버리스 LLM API 엔드포인트의 품질, 가격, 속도를 비교할 수 있는 통합 메트릭 시스템을 제공하고 있습니다.

TITLE: Hugging Face의 Artificial Analysis LLM 성능 리더보드

Sources