ai-dynamo/aiperf

해결하는 문제

AIPerf는 생성형 AI 모델의 성능을 측정하기 위해 설계된 벤치마킹 도구입니다. 개발자와 운영자가 선택한 추론 솔루션이 다양한 워크로드를 어떻게 처리하는지 파악하는 데 도움을 주며, 배포 전에 성능 요구 사항을 충족하는지 확인하기 위해 지연 시간과 처리량과 같은 핵심 메트릭을 제공합니다.

작동 방식

이 도구는 확장 가능한 멀티프로세스 아키텍처(10개의 서비스가 ZMQ를 통해 통신)를 사용하여 추론 엔드포인트에 대한 사용자 트래픽을 시뮬레이션합니다. 동시성, 요청 레이트, 결정론적 트레이스 재생과 같은 다양한 로드 제어 모드를 지원하며, MLflow, OpenTelemetry, Weights & Biases와 같은 모니터링 도구와 통합하여 실시간 모니터링이 가능합니다. 엔드포인트, 데이터셋, 메트릭에 대한 플러그인 시스템을 통해 확장성이 보장됩니다.

대상 사용자

LLM, 비전, 오디오, 비디오 모델의 성능을 vLLM, SGLang, TensorRT-LLM과 같은 다양한 추론 엔진과 Kubernetes를 포함한 호스팅 환경에서 엄격하게 테스트해야 하는 AI 엔지니어, ML Ops 전문가, 연구자들을 위한 도구입니다.

주요 특징

• 포괄적인 메트릭: 첫 번째 토큰 도달 시간(TTFT), 토큰 간 지연 시간(ITL), 요청 처리량을 추적합니다.
• 다양한 워크로드 지원: ShareGPT와 같은 공개 데이터셋, 사용자 정의 프롬프트, 실제 운영 환경의 트레이스 재생을 통해 현실적인 트래픽 시뮬레이션을 지원합니다.
• 광범위한 모달리티 지원: 텍스트, 이미지 생성, 임베딩, 오디오, 비디오 모델을 모두 벤치마킹할 수 있습니다.
• 고급 로드 제어: SLA 경계 탐지용 어댑티브 스케일링, 점진적 램프업, 워밍업 단계를 통해 콜드스타트 효과를 제거합니다.
• 클라우드 네이티브: 오퍼레이터와 Helm 차트를 포함한 전용 Kubernetes 지원으로 클러스터 규모의 벤치마킹이 가능합니다.