Fetch AI 인프라 마이그레이션: Hugging Face와 AWS를 활용한 도구 통합

요약

Fetch는 월간 활성 사용자 1,800만 명을 보유한 소비자 보상 회사로, 서드파티 AI 제공업체에 의존하던 방식에서 자체 AI 기반 플랫폼으로 전환했습니다. Hugging Face와 Amazon Web Services(AWS)를 활용함으로써 Fetch는 약 15개의 다양한 AI 도구를 통합하여 매일 1,100만 건 이상의 영수증을 처리했으며, 그 결과 개발 시간이 30% 감소하고 처리 지연 시간이 50% 감소했습니다.

서드파티 AI에서 자체 ML로 전환

Fetch는 이전에 서드파티 AI 솔루션을 사용해 영수증을 스캔하고 처리했으며, 이를 "블랙 박스"라고 표현했습니다. 이러한 의존성은 비즈니스 위험을 초래하고 데이터 인사이트의 세분성을 제한하여, Fetch가 비즈니스 파트너에게 고객이 프로모션에 어떻게 참여했는지에 대한 상세 정보를 제공하지 못하게 했습니다.

이를 해결하기 위해 Fetch는 자체적으로 머신러닝(ML) 및 AI 전문성을 구축했습니다. 회사는 AWS 리소스를 활용해 모델을 학습함으로써 8개월 만에 전환을 완료했으며, 이는 원래 12개월 일정보다 4개월 앞선 결과였습니다.

기술 구현 및 도구

Fetch는 여러 핵심 기술과 프로그램을 통합하여 새로운 AI 인프라를 구현했습니다:

Hugging Face 통합

Fetch는 AWS Marketplace를 통해 Hugging Face Expert Acceleration Program에 참여했습니다. Hugging Face는 자문 서비스와 지식 이전을 제공하여 Fetch 엔지니어가 오픈소스 트랜스포머 모델을 효과적으로 활용해 문서 AI 모델의 엔터티 해소 및 의미 검색을 개선할 수 있도록 했습니다.

AWS 인프라

• Amazon SageMaker: 완전 관리형 인프라와 워크플로를 사용해 ML 모델을 구축, 학습 및 배포하는 데 사용되었습니다.
• AWS Inferentia: 딥러닝(DL) 추론 애플리케이션의 높은 성능과 낮은 비용을 달성하기 위한 가속기로 배포되었습니다.

배포 전략

마이그레이션 중 안정성을 확보하기 위해 Fetch는 "섀도우 파이프라인"을 활용했습니다. 이 시스템은 서드파티 솔루션이 여전히 활성화된 상태에서 새로운 ML 파이프라인으로 매일 1,100만 건의 영수증을 모두 재처리하여 감사 및 분석 목적으로 사용했으며, 이를 통해 새로운 시스템이 주요 데이터 소스로 전환되기 전에 정확성을 검증했습니다.

주요 결과 및 성능 향상

자체 관리 AI 스택으로 전환함으로써 Fetch는 운영 및 기술 측면에서 상당한 개선을 이루었습니다:

• Latency Reduction: 영수증 업로드 처리 지연 시간이 50% 감소하여 사용자 경험과 고객 유지율이 향상되었습니다.
• Development Efficiency: Hugging Face의 가이드와 오픈소스 리소스 활용을 통해 개발 시간이 약 30% 단축되었습니다.
• Training Speed: 모델 학습 시간이 며칠 또는 몇 주에서 몇 시간으로 단축되었습니다.
• Data Control: "블랙 박스" 의존성을 없앰으로써 Fetch는 데이터에 대한 완전한 통제권을 확보하고 비즈니스 파트너가 요구하는 세부 인사이트를 추출할 수 있게 되었습니다.