Fetch AI 基礎設施遷移：與 Hugging Face 及 AWS 整合工具

執行摘要

Fetch，一家服務 1800 萬活躍月度用戶的消費者獎勵公司，已從依賴第三方 AI 供應商轉向內部 AI 平台。透過利用 Hugging Face 與 Amazon Web Services (AWS)，Fetch 整合了約 15 種不同的 AI 工具，以每日處理超過 1100 萬張收據，實現了開發時間縮短 30% 與處理延遲降低 50%。

從第三方 AI 轉向內部機器學習

Fetch 先前使用第三方 AI 解決方案來掃描與處理收據，公司形容其為「黑盒」。此依賴帶來商業風險，且限制了資料洞察的細緻度，阻礙 Fetch 向業務合作夥伴提供客戶如何參與促銷的詳細資訊。

為了解決此問題，Fetch 在內部建立了自己的機器學習 (ML) 與 AI 專業能力。公司在八個月內完成轉移——比原先 12 個月的計畫提前四個月——藉由使用 AWS 資源進行模型訓練。

技術實施與工具

Fetch 透過整合多項關鍵技術與方案，實施了全新的 AI 基礎設施：

Hugging Face 整合

Fetch 透過 AWS Marketplace 參與 Hugging Face Expert Acceleration Program。Hugging Face 提供諮詢服務與知識轉移，使 Fetch 工程師能有效使用開源 transformer 模型，提升文件 AI 模型的實體解析與語意搜尋能力。

AWS 基礎設施

  • Amazon SageMaker：用於在全托管的基礎設施與工作流程中建構、訓練與部署機器學習模型。
  • AWS Inferentia：作為加速器部署，以在深度學習 (DL) 推論應用中實現高效能與降低成本。

部署策略

為確保遷移期間的穩定性，Fetch 使用「影子管線」。此系統在第三方解決方案仍在運作的同時，將每日 1100 萬張收據重新處理於新 ML 管線，以進行稽核與分析，確保新系統的準確性後再成為主要資料來源。

主要成果與效能提升

轉向自行管理的 AI 堆疊為 Fetch 帶來了顯著的營運與技術改進：

  • 延遲降低：收據上傳的處理延遲減少 50%，提升使用者體驗與客戶留存。
  • 開發效率：在 Hugging Face 的指導與其開源資源的協助下，開發時間約縮短 30%。
  • 訓練速度：模型訓練時間從數天或數週縮短至僅數小時。
  • 資料掌控：透過消除「黑盒」依賴，Fetch 完全掌控其資料，並能提取業務合作夥伴所需的特定細緻洞察。

Sources