ai-dynamo/aiperf

何を解決するか

AIPerf は、生成型AIモデルのパフォーマンスを測定するためのベンチマークツールです。開発者や運用担当者が選択した推論ソリューションがさまざまなワークロードをどのように処理するかを把握するのに役立ち、デプロイ前にパフォーマンス要件を満たすかを確認するために、レイテンシーやスループットといった重要なメトリクスを提供します。

動作方法

このツールは、スケーラブルなマルチプロセスアーキテクチャ（ZMQを介して通信する10のサービス）を使用して、推論エンドポイントに対するユーザーのトラフィックをシミュレートします。並列数、リクエストレート、決定論的トレースリプレイといった複数のロード制御モードをサポートしており、MLflow、OpenTelemetry、Weights & Biasesなどのテレメトリツールと統合してリアルタイム監視が可能です。エンドポイント、データセット、メトリクスのプラグインシステムにより拡張性が確保されています。

対象ユーザー

LLM、ビジョン、オーディオ、ビデオモデルのパフォーマンスを、vLLM、SGLang、TensorRT-LLMなどの異なる推論エンジンやKubernetesを含むホスティング環境で厳密にテストしたいAIエンジニア、ML Opsプロフェッショナル、研究者向けに設計されています。

特徴

• 包括的なメトリクス: 最初のトークン到達時間（TTFT）、トークン間レイテンシー（ITL）、リクエストスループットを追跡。
• 多様なワークロード対応: ShareGPTなどの公開データセット、カスタムプロンプト、本番環境のトレースリプレイによる現実的なトラフィックシミュレーションをサポート。
• 広範なモダリティ対応: テキスト、画像生成、埋め込み、オーディオ、ビデオモデルのベンチマークを実施。
• 高度なロード制御: SLA境界の発見のためのアダプティブスケーリング、徐々に増加させるラムピング、ウォームアップフェーズにより、コールドスタートの影響を排除。
• クラウドネイティブ: オペレーターとHelmチャートを備えた専用のKubernetesサポートにより、クラスタスケールでのベンチマークが可能。