meta/FAI-PEP

Facebook AI Performance Evaluation Platform

해결하는 문제

머신러닝은 빠르게 변화하고 있습니다. 새로운 프레임워크, 하드웨어, 소프트웨어 백엔드, 모델이 끊임없이 등장합니다. 모든 조합이 다르게 테스트되기 때문에 모델이나 백엔드의 런타임 성능을 빠르게 비교하는 것은 매우 복잡해집니다. 이 프로젝트는 여러 설정에 걸쳐 추론 성능을 측정하고 비교할 수 있는 단일 장소를 제공하여 이 문제를 해결합니다. 결과는 프레임워크 개발, 백엔드 최적화, 하드웨어 선택 및 모델 반복에 대한 투자 결정의 지침이 됩니다.

작동 방식

FAI-PEP은 벤치마킹을 세 개의 연결된 부분으로 나눕니다. 첫째, JSON으로 작성된 중앙 집중식 모델 및 벤치마크 사양입니다. 이 사양에는 다운로드 링크와 MD5 해시가 포함되어 있어 모델이 자동으로 가져와지고 검증됩니다. 모델이 변경되면 사양만 업데이트하면 됩니다. 둘째, 중앙 벤치마크 드라이버가 각 백엔드에서 실제 테스트를 실행합니다. 변동을 줄이기 위해 모든 곳에서 동일한 드라이버 코드가 사용되며, 각 백엔드가 자체 빌드 및 실행 환경을 가지고 있기 때문에 테스트를 다른 기기로 분산할 수 있습니다. 셋째, 결과는 중앙 소비 지점으로 전송되어 모든 백엔드와 모델의 성능을 한 번에 비교할 수 있습니다.

이 플랫폼은 지연 시간(전체 네트워크 또는 개별 연산자), 오류(출력과 골든 레퍼런스 출력 간의 차이), 에너지/전력(추론당, 일반적으로 배터리가 없는 휴대폰에서), 그리고 자체 바이너리가 생성하는 모든 사용자 정의 메트릭을 수집합니다. 실행 후 A/B 테스트를 사용하여 서로 다른 코드 커밋 간의 성능 회귀를 확인할 수 있습니다. 이전 커밋(대조군)과 새 커밋(실험군)에서 동시에 동일한 테스트를 실행한 다음 상대적인 성능 차이를 비교합니다. 이는 환경적 변동의 대부분을 제거하여 회귀 감지를 더 정확하게 만듭니다.

플랫폼을 확장하려면 benchmarking/frameworks 아래에 디렉토리를 만들고 framework_base.py에서 파생하여 메서드를 구현함으로써 새 프레임워크를 추가합니다. 마찬가지로 새 백엔드는 benchmarking/platforms 아래에 배치하고 platform_base.py에서 파생합니다. 실행 진입점은 run_bench.py(단일 대화형 실행), harness.py(독립형 벤치마크 실행), repo_driver.py(지속적인 실행, 반복적인 코드 가져오기, 빌드 및 벤치마킹)입니다.

대상 사용자

이 프로젝트는 ML 프레임워크, 소프트웨어 백엔드 및 하드웨어 가속기 개발자와 자신의 사용 사례에 가장 빠른 모델이나 백엔드를 선택해야 하는 머신러닝 엔지니어를 대상으로 합니다. 또한 많은 모델/백엔드 조합 전반의 성능을 모니터링하고 회귀를 조기에 포착할 책임이 있는 모든 사람에게 유용합니다. 현재 지원되는 프레임워크와 백엔드에는 Caffe2, TFLite, CPU, GPU, DSP, Android, iOS 및 Linux 기반 시스템이 포함되지만, 설계는 확장 가능하도록 의도되었습니다.

주요 특징

  • 프레임워크 및 백엔드 독립적: 하나의 플랫폼에서 여러 설정의 성능을 비교.
  • 자동 다운로드 및 MD5 검증을 포함한 모델 및 벤치마크용 중앙 집중식 사양.
  • 자체 바이너리에서 지연 시간, 오류, 에너지/전력 및 사용자 정의 메트릭 수집.
  • 커밋 간 회귀 감지를 위한 A/B 테스트 방법론으로 환경적 노이즈 감소.
  • 확장 가능한 설계: 기본 클래스에서 파생하여 새 프레임워크 및 백엔드 추가.
  • 다중 진입점: 단일 실행 하네스, 대화형 드라이버 및 지속적인 벤치마크 루프.
  • 백엔드별 고유한 빌드/실행 환경을 처리하기 위한 분산 실행.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트