facebook/FAI-PEP

解決する課題

FAI-PEPは、異なるハードウェアバックエンドとソフトウェアフレームワーク間で機械学習の推論パフォーマンスをベンチマークするための標準化された方法を提供します。新しいモデルの反復、フレームワークの更新、またはハードウェアの選択がランタイムメトリクスにどのように影響するかを手動で評価する難しさを排除し、パフォーマンス比較が公平かつ一貫性のあるものになるようにします。

仕組み

このプラットフォームは、集中管理システムを使用してJSON形式でモデルとベンチマークの仕様を管理し、すべての比較で同じ入力が使用されるようにします。分散実行モデルを採用しており、集中型ドライバがさまざまな環境（Android、iOS、Linux、CPU、GPU、DSPなど）にわたるベンチマークの実行を管理します。

パフォーマンスの低下を検出するために、新しいコミット（処理群）と古いコミット（対照群）を比較するA/Bテスト手法を使用して、相対的なパフォーマンスの差異を分離し、環境の変動を排除します。

対象者

• フレームワーク開発者: ソフトウェアバックエンドを最適化し、フレームワークの機能強化を評価するため。
• ハードウェアエンジニア: MLモデルに最も効率的なハードウェアソリューションを選択してテストするため。
• ML研究者: モデルを反復し、そのランタイムパフォーマンスを検証するため。

ハイライト

• バックエンド非依存: CPU、GPU、DSP、Android、iOS、Linuxを含む幅広いプラットフォームをサポート。
• フレームワークサポート: Caffe2およびTFLiteと互換性あり。
• 包括的なメトリクス: レイテンシ（遅延）、出力エラー、エネルギー/電力消費を追跡。
• リグレッション検出: A/Bテストを使用して、コミット間のパフォーマンス低下を自動的に検出。
• 拡張可能なアーキテクチャ: 基底クラス（framework_base.pyおよびplatform_base.py）を継承することで、新しいフレームワークとプラットフォームを追加可能。