facebook/FAI-PEP

해결하는 문제

FAI-PEP는 다양한 하드웨어 백엔드와 소프트웨어 프레임워크에서 머신러닝 추론 성능을 벤치마킹하는 표준화된 방법을 제공합니다. 새로운 모델 반복, 프레임워크 업데이트 또는 하드웨어 선택이 런타임 메트릭에 미치는 영향을 수동으로 평가하는 어려움을 없애고, 공정하고 일관된 성능 비교를 보장합니다.

작동 방식

이 플랫폼은 중앙 집중식 시스템을 사용하여 JSON 형식으로 모델 및 벤치마크 사양을 관리하며, 모든 비교에 동일한 입력이 사용되도록 보장합니다. 중앙 드라이버가 다양한 환경(Android, iOS, Linux, CPU, GPU 및 DSP 등)에 걸친 벤치마크 실행을 관리하는 분산 실행 모델을 채택하고 있습니다.

성능 저하를 감지하기 위해 새로운 커밋(처리군)과 이전 커밋(대조군)을 비교하는 A/B 테스트 방법론을 사용하여 상대적인 성능 차이를 분리하고 환경적 변동을 제거합니다.

대상 사용자

• 프레임워크 개발자: 소프트웨어 백엔드를 최적화하고 프레임워크 향상 기능을 평가합니다.
• 하드웨어 엔지니어: ML 모델을 위한 가장 효율적인 하드웨어 솔루션을 선택하고 테스트합니다.
• ML 연구원: 모델을 반복하고 런타임 성능을 검증합니다.

주요 특징

• 백엔드 독립적: CPU, GPU, DSP, Android, iOS 및 Linux를 포함한 광범위한 플랫폼을 지원합니다.
• 프레임워크 지원: Caffe2 및 TFLite와 호환됩니다.
• 종합적인 메트릭: 지연(지연 시간), 출력 오류 및 에너지/전력 소비를 추적합니다.
• 저하 감지: A/B 테스트를 사용하여 커밋 간의 성능 저하를 자동으로 감지합니다.
• 확장 가능한 아키텍처: 기본 클래스(framework_base.py 및 platform_base.py)를 상속하여 새로운 프레임워크와 플랫폼을 추가할 수 있습니다.