sgl-project/genai-bench
Genai-bench is a powerful benchmark tool designed for comprehensive token-level performance evaluation of large language model (LLM) serving systems.
해결하는 문제
Genai-bench는 LLM 서빙 시스템의 토큰 단위 성능을 평가하는 통합적인 방법을 제공합니다. 다양한 트래픽 시나리오와 동시성 수준에서 처리량, 지연 시간, 오류율을 측정하기 위한 표준화된 방법을 제공함으로써 분산된 도구에 의존할 필요를 제거합니다.
작동 방식
이 도구는 API를 통해 모델 백엔드에 벤치마크를 실행할 수 있는 CLI를 통해 작동합니다. 텍스트-텍스트 및 텍스트-이미지 작업을 모두 지원합니다. 벤치마크 실행 후 원시 메트릭과 로그가 수집되며, 이를 바탕으로 성능 분석을 위한 상세한 Excel 보고서와 시각화 그래프로 변환할 수 있습니다.
대상 사용자
LLM 서빙 인프라를 개발하고 있는 개발자 및 엔지니어를 위한 도구로, 모델 배포 시스템의 성능을 측정하고 최적화해야 하는 사용자에게 적합합니다.
주요 기능
- 실시간 UI 대시보드: 벤치마크 실행 중 진행 상황, 로그, 메트릭을 실시간으로 모니터링할 수 있습니다.
- 포괄적인 메트릭: 첫 번째 토큰 도착 시간(TTFT), 엔드투엔드(E2E) 지연 시간, 출력 토큰당 시간(TPOT), 처리량, 초당 요청 수(RPS)를 추적합니다.
- 실험 분석기: 서로 다른 실험을 비교할 수 있는 Excel 보고서와 사용자 정의 가능한 플롯 그리드를 생성합니다.
- 다중 모달 지원: 텍스트 생성 및 이미지 생성 API 모두를 벤치마크할 수 있습니다.
관련
- 프로젝트
ai-dynamo/aiperf다양한 추론 솔루션과 모달리티를 통해 지연 시간과 처리량을 측정하는 포괄적인 생성형 AI 모델용 벤치마킹 도구입니다.
- 프로젝트
AISBench/benchmarkAISBench Benchmark은(는) AI 모델의 성능과 정확도를 평가하는 도구로, 텍스트, 멀티모달, 에이전트 시나리오를 지원하며, vLLM 등 서비스화된 추론 백엔드에 연결할 수 있고, 많은 데이터 세트와 평가 벤치마크가 내장되어 있습니다.
- 프로젝트
MatthewCYM/VoiceBenchVoiceBench는 LLM 기반 음성 어시스턴트를 평가하기 위한 벤치마크 스위트입니다. 음성 기반 QA 및 지시 수행 작업을 포함한 Hugging Face 데이터셋과, 모델을 실행하고 음성 응답을 수집하며 자동으로 점수를 매기는(일부는 GPT-4o-mini를 사용) 명령줄 툴킷을 제공합니다. 결과는 공개 리더보드에 게시되며, 리포지토리에는 최근 음성 어시스턴트 관련 논문 목록도 포함되어 있습니다.
- 프로젝트
aisa-group/PostTrainBenchPostTrainBench는 자율형 LLM 에이전트가 10시간의 H100 컴퓨팅 예산 내에서 기본 언어 모델을 얼마나 잘 미세 조정할 수 있는지 측정하는 벤치마크입니다. 4개의 CLI 스캐폴드(Claude, Codex, Gemini, OpenCode)와 6개의 다양한 다운스트림 작업을 다룹니다. HTCondor 참조 파이프라인과 클라우드 GPU 어댑터를 제공하며, 상세한 프롬프트, 환경 설정, API 키 및 구독 기반 에이전트를 모두 지원합니다.
- 프로젝트
vllm-project/guidellmGuideLLM은 실제 워크로드에 대해 LLM 추론을 벤치마킹하는 Python 라이브러리(컨테이너로도 제공)입니다. OpenAI 호환 또는 vLLM 서버에 구성 가능한 트래픽 패턴을 구동하고, 합성 및 실제 멀티모달 데이터셋을 지원하며, 상세한 지연 시간/토큰 메트릭을 기록하고, 용량 계획 및 SLO 검증을 위한 JSON/CSV/HTML 보고서를 출력합니다.