머신러닝으로 고객 서비스 강화

Hugging Face는 기계 학습을 사용하여 불만 고객 피드백을 필터링하고 우선순위를 지정함으로써 고객 서비스를 자동화하는 워크플로우를 시연했습니다. 비즈니스 문제를 텍스트 분류 작업에 매핑하고 사전 학습된 트랜스포머 모델을 미세 조정함으로써, 조직은 긴급한 불만을 처리하면서 인간의 노력을 크게 줄일 수 있습니다.

고객 서비스를 NLP 작업에 매핑하기

고객 메시지의 우선순위를 자동화하기 위해, 문제를 텍스트 분류 작업으로 모델링합니다. 구체적으로, 들어오는 메시지를 다섯 가지 감정 카테고리 중 하나로 분류하는 것이 목표입니다: 매우 불만, 불만, 중립, 만족, 매우 만족.

이 접근 방식은 고객 지원 팀이 가장 불만이 큰 고객에게만 집중하도록 하여, 긴급 메시지의 100%에 답변하고 중립 또는 긍정적인 피드백은 필터링할 수 있게 합니다.

데이터셋 선택 및 큐레이션

모델 성능은 학습 데이터의 품질과 관련성에 크게 좌우됩니다. 실제 적용을 위해서는 내부 회사 데이터를 사용하는 것이 권장되지만, Hugging Face는 이 시뮬레이션을 위해 amazon_reviews_multi 데이터셋을 활용했습니다.

데이터셋 평가 기준

  • 품질: 데이터는 예상되는 실제 사용 사례와 일치해야 하며 다양하고 편향되지 않아야 합니다.
  • 크기: 큰 데이터셋은 일반적으로 더 나은 성능을 제공합니다.

여러 옵션 중 amazon_reviews_multi가 선택된 이유는 1~5 별의 세분화된 감정 라벨을 제공하여 다섯 가지 감정 카테고리와 직접 매핑할 수 있었기 때문이며, Amazon polarity와 같은 다른 데이터셋은 이진 라벨만 제공했습니다.

모델 선택 및 미세 조정

이번 구현에서는 microsoft/deberta-v3-base 모델을 선택했습니다. DeBERTa는 GLUE 및 SuperGLUE와 같은 벤치마크에서 텍스트 분류 능력으로 상위 순위를 차지한 모델입니다.

기술 구현 워크플로우

  1. 전처리: datasets 라이브러리를 사용하여 review_body를 토큰화하고 최대 길이 128 토큰으로 제한합니다. 라벨(1-5)은 모델과의 호환성을 위해 0-4 범위로 변환됩니다.
  2. 학습: Hugging Face Trainer API를 사용해 다음 하이퍼파라미터로 모델을 미세 조정합니다:
    • Epochs: 2
    • Learning Rate: 2e-5
    • Warmup Steps: 200
    • Evaluation Strategy: 매 5,000 스텝마다
  3. 평가지표: 초기 평가는 표준 정확도를 사용했습니다. 모델은 50,000 스텝 후 검증 세트에서 약 61.8% 정확도를 달성했습니다.

사용 사례별 평가

표준 정확도는 비즈니스 목표가 구체적일 경우 오해를 불러일으킬 수 있습니다. 고객 서비스에 대한 모델의 유용성을 더 잘 측정하기 위해, Hugging Face는 "매우 불만" 클래스에 초점을 맞춘 맞춤형 지표를 구현했습니다.

"매우 불만"과 "불만" 라벨을 모두 응답 대상으로 간주했을 때, 모델은 테스트 세트에서 다음과 같은 결과를 보였습니다:

  • 매우 불만 고객에 대한 재현율: ~95% (매우 불만 메시지를 정확히 포착한 비율)
  • 위양성 비율: ~12% (만족 메시지를 잘못 불만으로 라벨링한 비율)

비즈니스 영향 시뮬레이션

하루에 10,000개의 메시지가 들어오고 그 중 500개가 매우 부정적인 경우, 이 시스템은 인간 작업량을 10,000개에서 약 1,700개로 감소시킵니다. 이는 인간 노력의 83% 감소를 의미하며, 가장 긴급한 불만의 5%만 놓치게 됩니다.

프로덕션 최적화

모델이 허용 가능한 성능에 도달하면, Hugging Face는 프로덕션 최적화를 위한 여러 경로를 권장합니다:

  • 하드웨어 및 정밀도: 최적화된 GPU를 활용하고 정밀도를 float16으로 낮추기.
  • 가속기 라이브러리: ONNX Runtime, 양자화, 또는 NVIDIA Triton과 같은 추론 서버 사용.
  • Hugging Face Optimum: 트랜스포머 모델 최적화를 간소화하도록 설계된 오픈소스 라이브러리.
  • Inference API: 깊은 기술 인프라 지식 없이도 머신러닝 작업을 프로덕션에 제공할 수 있는 플러그‑앤‑플레이 솔루션.

Sources