Fetch 案例研究：使用 Amazon SageMaker 和 Hugging Face 将 ML 处理延迟降低 50%

Fetch 通过将其机器学习 (ML) 管道迁移到 Amazon SageMaker 和 Hugging Face，将其最慢的收据扫描的处理延迟降低了 50%，并将其文档理解模型的准确性提高了 200%。此优化使公司能够每周处理超过 8000 万张收据——在高峰流量期间达到每秒数百次扫描——并提高精度和速度。

通过 Amazon SageMaker 进行的技术实现

Fetch 在 12 个月内通过在 Amazon SageMaker 上部署超过五个 ML 模型来优化其 ML 管道。该架构利用若干项托管服务来处理其收据扫描操作的规模：

  • 模型训练和处理： Fetch 使用 Amazon SageMaker Model Training 来降低大规模调优模型相关的成本和时间，同时使用 Amazon SageMaker Processing 来处理托管的数据处理工作负载。
  • 计算基础设施： 公司在 Amazon SageMaker 上使用多 GPU 实例，以确保自定义 ML 模型的快速性能以及推理和运行时的无缝可扩展性。
  • 部署自动化： 为了加速从开发到生产的过渡，Fetch 使用 Amazon SageMaker Inference Recommender 来自动化负载测试和模型调优。
  • 验证： Fetch 用 Amazon SageMaker shadow testing 替换了自定义的 shadow testing 流水线，使公司能够针对生产流量验证新模型以防止故障。

与 Hugging Face 的集成

Fetch 利用 Hugging Face 与 AWS 的合作伙伴关系来简化深度学习环境的部署。该实施具体依赖于：

  • Hugging Face AWS Deep Learning Containers (DLCs): 这些预打包的容器镜像使 Fetch 能够快速部署用于训练和推理的优化环境。
  • Amazon SageMaker Hugging Face Inference Toolkit: 此开源库用于高效地服务 transformer 模型。

根据 Fetch 的机器学习工程师 Sam Corzine 的说法：“利用 Hugging Face AWS Deep Learning Container 的灵活性，我们可以提高模型的质量，而 Hugging Face 与 AWS 的合作伙伴关系意味着部署这些模型非常简单。”

业务成果和可扩展性

技术迁移在用户增长和合作伙伴价值方面带来了可衡量的改进：

  • 用户增长： 自更新的 ML 管道发布以来，Fetch 的月活跃用户从 1000 万增长到 1800 万。
  • 合作伙伴价值： 模型准确性的提高使 Fetch 能够从收据中提取更多样化的数据类型，使品牌合作伙伴能够基于更精确的消费者洞察创建新类型的优惠。
  • 开发者生产力： 标准化部署减少了人工开销，使新团队成员能够在上岗的前几天内部署模型。

Fetch 计划将 Amazon SageMaker 的使用扩展到其他 ML 用例，包括欺诈预防，因为公司继续扩大其运营规模。

Sources