meta/FAI-PEP

Facebook AI Performance Evaluation Platform

解決する課題

機械学習は急速に進化しており、新しいフレームワーク、ハードウェア、ソフトウェアバックエンド、モデルが絶えず登場しています。組み合わせごとにテスト方法が異なるため、モデルやバックエンドの実行時パフォーマンスを迅速に比較することは非常に困難です。このプロジェクトは、多くのセットアップにわたる推論パフォーマンスを測定・比較するための単一の場所を提供することで、この問題を解決します。その結果は、フレームワーク開発、バックエンド最適化、ハードウェア選定、モデル反復への投資判断の指針となります。

仕組み

FAI-PEPは、ベンチマークを3つの接続された部分に分割します。第一に、JSONで記述された集中管理型のモデルおよびベンチマーク仕様です。これらの仕様にはダウンロードリンクとMD5ハッシュが含まれており、モデルが自動的に取得および検証されます。モデルが変更された場合は、仕様を更新するだけで済みます。第二に、中央のベンチマークドライバーが各バックエンドで実際のテストを実行します。差異を減らすためにどこでも同じドライバーコードが使用され、各バックエンドが独自のビルドおよび実行環境を持つため、異なるマシンにテストを分散させることができます。第三に、結果は中央の消費ポイントに送られ、すべてのバックエンドとモデルのパフォーマンスを一度に比較できます。

このプラットフォームは、レイテンシ(ネットワーク全体または個々の演算子)、エラー(出力とゴールデンリファレンス出力との差)、エネルギー/電力(推論ごと、通常はバッテリーなしの電話機)、および独自のバイナリが生成するカスタムメトリクスなど、いくつかのメトリクスを収集します。実行後、A/Bテストを使用して異なるコードコミット間のパフォーマンス回帰を確認できます。古いコミット(コントロール)と新しいコミット(トリートメント)で同時に同じテストを実行し、相対的なパフォーマンス差を比較します。これにより、環境の変動のほとんどが排除され、回帰検出がより正確になります。

プラットフォームを拡張するには、benchmarking/frameworks の下にディレクトリを作成し、framework_base.py から派生させてメソッドを実装することで新しいフレームワークを追加します。同様に、新しいバックエンドは benchmarking/platforms の下に配置し、platform_base.py から派生させます。実行のエントリポイントは、run_bench.py(単一の対話型実行)、harness.py(スタンドアロンのベンチマーク実行)、repo_driver.py(継続的な実行、コードの繰り返しプル、ビルド、ベンチマーク)です。

対象ユーザー

このプロジェクトは、MLフレームワーク、ソフトウェアバックエンド、ハードウェアアクセラレータの開発者、およびユースケースに最適なモデルやバックエンドを選択する必要がある機械学習エンジニアを対象としています。また、多くのモデル/バックエンドの組み合わせにわたるパフォーマンスを監視し、回帰を早期に発見する責任がある人にも役立ちます。現在サポートされているフレームワークとバックエンドには、Caffe2、TFLite、CPU、GPU、DSP、Android、iOS、およびLinuxベースのシステムが含まれますが、設計は拡張できるように意図されています。

ハイライト

  • フレームワークおよびバックエンドに依存しない:1つのプラットフォームから多くのセットアップのパフォーマンスを比較。
  • 自動ダウンロードとMD5検証を備えた、モデルとベンチマークの集中管理仕様。
  • 独自のバイナリからレイテンシ、エラー、エネルギー/電力、カスタムメトリクスを収集。
  • コミット間の回帰検出のためのA/Bテスト手法により、環境ノイズを低減。
  • 拡張可能な設計:基底クラスから派生させることで新しいフレームワークやバックエンドを追加可能。
  • 複数のエントリポイント:単一実行ハーネス、対話型ドライバー、継続的なベンチマークループ。
  • バックエンドごとの固有のビルド/実行環境を処理するための分散実行。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト