Fetch ケーススタディ: Amazon SageMaker と Hugging Face を使用して機械学習処理レイテンシを 50% 削減

Fetch は、最も遅いレシートスキャンの処理レイテンシを 50% 削減し、ドキュメント理解モデルの精度を 200% 向上させるために、機械学習 (ML) パイプラインを Amazon SageMaker と Hugging Face に移行しました。この最適化により、会社は週に 8000 万枚以上のレシートを処理できるようになり、ピーク時のトラフィックでは 1 秒あたり数百スキャンに達し、精度と速度が向上しました。

Amazon SageMaker を使用した技術的実装

Fetch は、12 か月以内に Amazon SageMaker 上に 5 つ以上の機械学習モデルをデプロイすることで ML パイプラインを最適化しました。このアーキテクチャは、レシートスキャン操作の規模に対応するためにいくつかのマネージドサービスを活用しています：

  • モデルトレーニングと処理: Fetch は、スケールでのモデルチューニングに関連するコストと時間を削減するために Amazon SageMaker Model Training を利用し、マネージドデータ処理ワークロードのために Amazon SageMaker Processing も併用しています。
  • コンピューティングインフラストラクチャ: 同社は、カスタム機械学習モデルの高速なパフォーマンスと推論およびランタイムのシームレスなスケーラビリティを確保するために、Amazon SageMaker 上のマルチ GPU インスタンスを採用しています。
  • デプロイメントの自動化: 開発から本番への移行を加速するために、Fetch は Amazon SageMaker Inference Recommender を使用してロードテストとモデルチューニングを自動化しています。
  • 検証: Fetch は、カスタムシャドウテストパイプラインを Amazon SageMaker シャドウテストに置き換え、本番トラフィックに対して新しいモデルを検証してダウンタイムを防ぐことができるようにしました。

Hugging Face との統合

Fetch は、Hugging Face と AWS のパートナーシップを活用してディープラーニング環境のデプロイを簡素化しています。この実装は特に以下に依存しています：

  • Hugging Face AWS Deep Learning Containers (DLCs): これらのプリパッケージされたコンテナイメージにより、Fetch はトレーニングと推論のための最適化された環境を迅速にデプロイできます。
  • Amazon SageMaker Hugging Face Inference Toolkit: このオープンソースライブラリは、トランスフォーマーモデルを効率的に提供するために使用されます。

According to Sam Corzine, Machine Learning Engineer at Fetch, "Hugging Face AWS Deep Learning Container の柔軟性を活用することで、モデルの品質を向上させることができました。また、Hugging Face と AWS のパートナーシップにより、これらのモデルを簡単にデプロイできるようになりました。"

ビジネス成果とスケーラビリティ

この技術的移行により、ユーザー増加とパートナー価値において測定可能な改善がもたらされました：

  • ユーザー増加: 更新された ML パイプラインのリリース以来、Fetch の月間アクティブユーザー数は 1000 万から 1800 万に増加しました。
  • パートナー価値: モデル精度の向上により、Fetch はレシートからより多様なデータタイプを抽出できるようになり、ブランドパートナーはより正確な消費者インサイトに基づいて新しい種類のオファーを作成できるようになります。
  • 開発者生産性: 標準化されたデプロイにより手動のオーバーヘッドが削減され、新しいチームメンバーは入社後数日以内にモデルをデプロイできるようになります。

Fetch は、会社が業務を拡大し続ける中で、不正防止などの他の機械学習ユースケースにも Amazon SageMaker の使用を拡大する意向です。

Sources