meta/FAI-PEP

Facebook AI Performance Evaluation Platform

解决的问题

机器学习发展迅速:新的框架、硬件、软件后端和模型层出不穷。由于每种组合的测试方式各异,快速比较模型或后端的运行时性能变得非常混乱。本项目通过提供一个统一的平台来测量和比较跨多种设置的推理性能,从而解决了这一问题。测试结果可指导在框架开发、后端优化、硬件选择和模型迭代方面的投资决策。

工作原理

FAI-PEP 将基准测试分为三个相互关联的部分。首先,存在以 JSON 编写的集中式模型和基准测试规范。这些规范包含下载链接和 MD5 哈希值,以便自动获取并验证模型;如果模型发生变化,只需更新规范即可。其次,一个中央基准测试驱动程序在每个后端上运行实际测试。所有地方使用相同的驱动程序代码以减少差异,并且由于每个后端都有自己的构建和运行环境,它可以将测试分发到不同的机器上。第三,结果会汇总到一个中央消费点,您可以在此一次性比较所有后端和模型的性能。

该平台收集多种指标:延迟(针对整个网络或单个算子)、错误(输出与黄金参考输出之间的差异)、能量/功耗(每次推理,通常在无电池的手机上)以及您自己的二进制文件产生的任何自定义指标。运行后,您可以使用 A/B 测试检查不同代码提交之间的性能回归:您可以同时在旧提交(对照组)和新提交(实验组)上运行相同的测试,然后比较相对性能差异。这消除了大部分环境差异,使回归检测更加精确。

要扩展该平台,您可以通过在 benchmarking/frameworks 下创建一个目录,继承 framework_base.py 并实现其方法来添加新框架。同样,新后端位于 benchmarking/platforms 下,继承 platform_base.py。运行入口点为 run_bench.py(单次交互式运行)、harness.py(独立基准测试运行)和 repo_driver.py(持续运行,重复拉取代码、构建和基准测试)。

适用人群

本项目面向 ML 框架、软件后端和硬件加速器的开发者,以及需要为其用例选择最快模型或后端的机器学习工程师。它也适用于任何负责监控多种模型/后端组合性能并及早发现回归的人员。目前支持的框架和后端包括 Caffe2、TFLite、CPU、GPU、DSP、Android、iOS 和基于 Linux 的系统,但其设计旨在支持扩展。

亮点

  • 框架和后端无关:从一个平台比较多种设置的性能。
  • 模型和基准测试的集中式规范,支持自动下载和 MD5 验证。
  • 从您的二进制文件中收集延迟、错误、能量/功耗和自定义指标。
  • 用于提交之间回归检测的 A/B 测试方法,减少环境噪声。
  • 可扩展设计:通过从基类派生来添加新框架和后端。
  • 多种入口点:单次运行工具、交互式驱动程序和持续基准测试循环。
  • 分布式执行,以处理每个后端独特的构建/运行环境。

相关

  • 项目
  • 项目
  • 项目
  • 项目