Fetch 案例研究：使用 Amazon SageMaker 與 Hugging Face 將 ML 處理延遲降低 50%

Fetch 透過將其機器學習 (ML) 管線遷移至 Amazon SageMaker 與 Hugging Face，將其最慢收據掃描的處理延遲降低了 50%，並將文件理解模型的準確度提高了 200%。此優化使公司每週能處理超過 8000萬筆收據——在流量峰值期間可達到每秒數百次掃描——同時提升精準度與速度。

透過 Amazon SageMaker 的技術實施

Fetch 在 12 個月內透過在 Amazon SageMaker 上部署超過五個 ML 模型來優化其 ML 管線。該架構利用多項受管理服務來應對其收據掃描操作的規模：

  • 模型訓練與處理: Fetch 使用 Amazon SageMaker Model Training 來降低大規模調校模型所帶來的成本與時間，並搭配 Amazon SageMaker Processing 處理受管理的資料處理工作負載。
  • 計算基礎設施: 公司在 Amazon SageMaker 上使用多 GPU 執行個體，以確保自訂 ML 模型的快速效能，並實現推論與執行時的無縫擴展。
  • 部署自動化: 為加速從開發到生產的過渡，Fetch 使用 Amazon SageMaker Inference Recommender 自動化負載測試與模型調校。
  • 驗證: Fetch 以 Amazon SageMaker 影子測試取代自訂的影子測試管線，使公司能夠針對生產流量驗證新模型，以防止中斷。

與 Hugging Face 的整合

Fetch 利用 Hugging Face 與 AWS 的合作夥伴關係來簡化深度學習環境的部署。該實作具體依賴於：

  • Hugging Face AWS 深度學習容器 (DLCs): 這些預先封裝的容器映像使 Fetch 能夠快速部署用於訓練與推理的優化環境。
  • Amazon SageMaker Hugging Face 推理工具包: 此開源程式庫用於高效地提供 transformer 模型。

根據 Fetch 的機器學習工程師 Sam Corzine 的說法：「利用 Hugging Face AWS 深度學習容器的彈性，我們能夠提升模型品質，而 Hugging Face 與 AWS 的合作夥伴關係意味著部署這些模型變得非常簡單。」

業務成果與可擴展性

此技術遷移帶來了可量測的改進，涵蓋使用者成長與合作夥伴價值：

  • 使用者成長: 自更新後的 ML 管線發布以來，Fetch 的月活躍用戶數從 1000 萬增至 1800 萬。
  • 合作夥伴價值: 模型準確度的提升使 Fetch 能從收據中擷取更多樣化的資料類型，使品牌合作夥伴能夠基於更精準的消費者洞見，創造出新類型的優惠。
  • 開發者生產力: 標準化的部署減少了手動操作的負擔，使新團隊成員能夠在上班的前幾天內完成模型部署。

Fetch 計畫將 Amazon SageMaker 的應用擴展至其他 ML 用例，包括詐欺預防，隨著公司持續擴大其營運規模。

Sources