sgl-project/genai-bench

해결하는 문제

Genai-bench는 LLM 서빙 시스템의 토큰 단위 성능을 평가하는 통합적인 방법을 제공합니다. 다양한 트래픽 시나리오와 동시성 수준에서 처리량, 지연 시간, 오류율을 측정하기 위한 표준화된 방법을 제공함으로써 분산된 도구에 의존할 필요를 제거합니다.

작동 방식

이 도구는 API를 통해 모델 백엔드에 벤치마크를 실행할 수 있는 CLI를 통해 작동합니다. 텍스트-텍스트 및 텍스트-이미지 작업을 모두 지원합니다. 벤치마크 실행 후 원시 메트릭과 로그가 수집되며, 이를 바탕으로 성능 분석을 위한 상세한 Excel 보고서와 시각화 그래프로 변환할 수 있습니다.

대상 사용자

LLM 서빙 인프라를 개발하고 있는 개발자 및 엔지니어를 위한 도구로, 모델 배포 시스템의 성능을 측정하고 최적화해야 하는 사용자에게 적합합니다.

주요 기능

• 실시간 UI 대시보드: 벤치마크 실행 중 진행 상황, 로그, 메트릭을 실시간으로 모니터링할 수 있습니다.
• 포괄적인 메트릭: 첫 번째 토큰 도착 시간(TTFT), 엔드투엔드(E2E) 지연 시간, 출력 토큰당 시간(TPOT), 처리량, 초당 요청 수(RPS)를 추적합니다.
• 실험 분석기: 서로 다른 실험을 비교할 수 있는 Excel 보고서와 사용자 정의 가능한 플롯 그리드를 생성합니다.
• 다중 모달 지원: 텍스트 생성 및 이미지 생성 API 모두를 벤치마크할 수 있습니다.