facebook/FAI-PEP

解决的问题

FAI-PEP 提供了一种标准化的方法，用于跨不同硬件后端和软件框架对机器学习推理性能进行基准测试。它消除了手动评估新模型迭代、框架更新或硬件选择如何影响运行时指标的困难，确保性能比较的公平性与一致性。

运作方式

该平台使用集中式系统以 JSON 格式管理模型和基准测试规格，确保所有比较都使用相同的输入。它采用分布式执行模型，其中集中式驱动程序管理跨各种环境（例如 Android、iOS、Linux、CPU、GPU 和 DSP）的基准测试运行。

为了检测性能下降，它使用 A/B 测试方法，将新提交（处理组）与旧提交（对照组）进行比较，以隔离相对性能差异并消除环境变异。

适用对象

• 框架开发者： 用于优化软件后端并评估框架增强功能。
• 硬件工程师： 用于选择和测试 ML 模型最高效的硬件解决方案。
• ML 研究人员： 用于迭代模型并验证其运行时性能。

亮点

• 后端无关： 支持广泛的平台，包括 CPU、GPU、DSP、Android、iOS 和 Linux。
• 框架支持： 与 Caffe2 和 TFLite 兼容。
• 全面指标： 跟踪延迟（延时）、输出错误以及能耗/功耗。
• 衰退检测： 使用 A/B 测试自动检测提交之间的性能衰退。
• 可扩展架构： 可以通过继承基类（framework_base.py 和 platform_base.py）来添加框架和平台。