Hugging Face 머신러닝 인사이트 디렉터 파트 4

전자상거래에서의 머신러닝

ML은 개인화된 탐색을 통해 대규모 사기 방지, 프로세스 최적화 및 향상된 사용자 경험(UX)을 가능하게 합니다.

Mercado Libre에서 ML 역량을 이끌었던 Javier Mansilla는 ML이 이전에 "불가능"하다고 여겨졌던 작업들을 가능하게 했으며, 특히 사기 방지에 큰 영향을 미쳤다고 언급합니다. 전자상거래에서의 핵심 적용 분야는 다음과 같습니다:

  • 핵심 유닛 최적화: ML은 검색, 추천, 광고, 신용 평가, 모더레이션, 예측 및 물류를 최적화하는 데 사용됩니다.
  • 인프라: ML은 인프라 예약 및 사용을 최적화하는 데 적용됩니다.
  • UX 개선: ML은 목록 및 제안을 탐색할 때 사용자 여정에 우연성과 발견을 추가합니다.

전자상거래에서의 과제 및 통합 함정

주요 과제는 다채널 비즈니스 전반에 걸쳐 일관된 최종 사용자 경험을 유지하면서 확률적인 ML 출력값을 균형 있게 다루는 것입니다.

Mansilla는 ML이 100% 완벽함을 제공하지 않기 때문에 사용자 경험의 "롱테일"을 중요한 초점으로 식별합니다. 또한 마켓플레이스, 물류, 신용, 보험 등 다양한 사업 라인 간 데이터 조정은 점점 더 어려워지고 있습니다.

일반적인 통합 실수는 다음과 같습니다:

  • 도구 불일치: 간단한 베이스라인으로 충분할 때 복잡한 도구를 사용하는 경우.
  • 측정 부족: ML 접근법과 비ML 접근법의 영향을 측정하지 않는 경우.
  • 단기적 사고: 기술 부채, 유지보수 및 숨겨진 장기 영향을 무시하는 경우.

엔지니어링에서의 머신러닝

ML은 로봇공학, 자동차, 화학 및 토목 엔지니어링 등 기존에 인간만이 수행하던 엔지니어링 프로세스를 자동화하고 있습니다.

MasterPeace Solutions의 Shaun Gittens 박사는 기록된 노동 프로세스 데이터가 있는 모든 분야가 ML을 활용해 수익성을 향상시킬 수 있다고 강조합니다. 그러나 그는 현재 ML 능력에 대한 두 가지 중요한 한계를 지적합니다:

  1. 운영 위험 및 편향: 인간 작업을 ML로 대체하는 것은 특히 편향과 관련된 위험을 수반합니다. Gittens는 편견이 담긴 데이터로 학습된 모델이 향후 기술 발전에 시스템적 인종차별을 퍼뜨릴 수 있다고 경고합니다.
  2. 창의성 부족: 현재 ML 에이전트는 가능한 해결책을 탐색할 뿐, 엔지니어링에서 복잡한 문제 해결에 필수적인 진정한 "틀을 깨는" 창의성을 보여주지는 못합니다.

엔지니어링 통합 실수

작은 데이터셋을 과도하게 엔지니어링하고 CI/CD 파이프라인을 무시하는 것이 엔지니어링 ML 통합에서 흔히 발생하는 실패입니다.

Gittens는 실무자들이 종종 작은 데이터셋에 Deep Learning과 같은 과도한 기술을 사용하지만, 보다 단순한 방법이 더 효과적일 수 있다고 지적합니다. 또한 그는 지속적인 데이터 흐름, 모델 재학습 및 오래된 모델의 원활한 교체를 보장하기 위해 견고한 CI/CD 구조가 필요하다고 강조합니다. 이는 소비자 혼란을 방지하기 위함입니다.

교육에서의 머신러닝

딥러닝 기반 콘텐츠 검색 및 추천 알고리즘을 통해 대규모 맞춤형 적응 학습 경로를 만들 수 있습니다.

Pluralsight의 Samuel Franklin은 ML이 교육 콘텐츠의 관련성, 형식 및 순서를 개선하여 학생 성공의 핵심 동인이 된다고 설명합니다.

교육 분야의 MLOps 및 리더십 과제

현재 MLOps 기술의 파편화는 ML 팀에 마찰을 일으키며, 실무 경험이 풍부한 고위 리더십이 부족하면 ML 전략이 지연되는 경우가 많습니다.

Franklin은 현재 MLOps 상황을 2015-16년의 "컨테이너 오케스트레이션 전쟁"에 비유하며, Train-Deploy-Monitor 스택에 대한 주도적인 비전이 부족해 의사결정 복잡성이 증가한다고 지적합니다.

그는 두 가지 중요한 조직적 실수를 지적합니다:

  • 리더십 전문성 과소평가: 실무 ML 경험이 충분하지 않은 리더에 의존하는 경우.
  • 파이프라인 구현 지연: 프로덕션 배포 파이프라인 구현을 너무 오래 미루어 프로토타입 모델이 저장소에 방치되는 경우.

SaaS에서의 머신러닝

ML은 SaaS에서 보이지 않는 "내장된" 기대치가 되어 이상 탐지, 의미 검색 및 개인화를 구동하고 있습니다.

Elastic에서의 경험을 바탕으로 한 Evan Castle은 ML을 운영상의 필수 요소로 설명합니다. 보안 및 SIEM(보안 정보 및 이벤트 관리) 분야에서 ML은 다음과 같은 기술을 사용해 시간적 편차, 지리적 위치 및 통계적 희소성을 분석함으로써 위협 탐지를 자동화합니다:

  • 시계열 분해
  • 클러스터링
  • 상관관계 분석
  • 베이지안 분포 모델링

SaaS 확장 및 사용자 균형

SaaS에서의 핵심 과제는 "즉시 사용 가능한" 모델을 필요로 하는 초보 사용자와 투명성과 제어를 요구하는 숙련된 데이터 과학자 간의 요구를 균형 있게 맞추는 것입니다.

Castle는 모델이 대규모로 작동하도록 보장하는 것이 얼마나 어려운지 강조합니다. 그는 Elastic이 계층적 탐색 가능한 소규모 세계(HNSW) 그래프 알고리즘을 사용해 근사 최근접 이웃(ANN) 검색을 수행함으로써 다른 벤치마크 대비 속도와 정확도를 크게 향상시킨 벡터 검색 사례를 제시합니다.

Castle는 기본 모델과 NLP 발전이 ML을 "온라인 주문"만큼 간단하게 만들어, 컨텍스트, 의도 및 의미를 더 잘 이해함으로써 기술을 보다 인간 친화적으로 만들 것이라고 예측합니다.

Sources