ai-dynamo/aiperf

해결하는 문제

AIPerf는 다양한 추론 솔루션에서 생성형 AI 모델의 성능을 측정하도록 설계된 벤치마킹 도구입니다. 개발자와 연구자가 지연 시간, 처리량 및 시스템이 다양한 부하 패턴을 처리하는 방식과 같은 모델 배포의 정확한 성능 특성을 결정하는 데 도움을 줍니다.

작동 방식

AIPerf는 ZMQ를 통해 통신하는 10개의 서비스로 구성된 확장 가능한 멀티프로세스 아키텍처를 사용하여 사용자 트래픽을 시뮬레이션합니다. CLI 플래그 또는 YAML 파일을 통해 구성할 수 있으며, 지원되는 API(OpenAI 호환 엔드포인트, NIM, Hugging Face TGI 포함)로 요청을 보낼 수 있습니다. 고정 동시성, 요청 속도 제어 및 실제 운영 트레이스(예: SageMaker 또는 Baseten) 재생을 포함한 여러 벤치마킹 모드를 지원합니다.

대상 사용자

이 도구는 프로덕션 배포 전 또는 배포 중에 LLM, 이미지, 오디오 및 비디오 생성 엔드포인트의 성능과 확장성을 엄격하게 테스트해야 하는 AI 엔지니어, ML Ops 전문가 및 연구자를 대상으로 합니다.

주요 특징

• 포괄적인 메트릭: Time to First Token (TTFT), Inter Token Latency (ITL) 및 전체 요청 처리량을 추적합니다.
• 언어 및 멀티모달 지원: 텍스트 LLM, 임베딩, 랭킹, 오디오, 이미지 생성 및 비디오 생성을 벤치마킹합니다.
• 고급 부하 제어: Poisson 및 gamma 트래픽 도착 패턴, 점진적 램핑 및 콜드 스타트 효과를 제거하기 위한 웜업 단계를 지원합니다.
• 운영 트레이스 재생: 공개 데이터셋(ShareGPT) 또는 운영 로그에서 결정론적 워크로드를 재생하는 기능.
• 텔레메트리 통합: 실시간 메트릭 스트리밍 및 결과 업로드를 위해 MLflow, OpenTelemetry 및 Weights & Biases와 통합됩니다.
• 확장 가능한 아키텍처: 커스텀 엔드포인트, 데이터셋 및 메트릭을 위한 플러그인 시스템을 특징으로 합니다.