機械学習で顧客サービスを強化する

Hugging Face は、機械学習を用いて不満のある顧客フィードバックをフィルタリングし、優先順位付けすることで顧客サービスを自動化するワークフローを示しました。ビジネス課題をテキスト分類タスクにマッピングし、事前学習済みトランスフォーマーモデルをファインチューニングすることで、組織は人的作業を大幅に削減しつつ、緊急の苦情に対応できるようになります。

顧客サービスを NLP タスクにマッピングする

顧客メッセージの優先順位付けを自動化するために、問題は テキスト分類タスク としてモデル化されます。具体的には、受信メッセージを「非常に不満」「不満」「中立」「満足」「非常に満足」の5つの感情カテゴリのいずれかに分類することが目標です。

このアプローチにより、カスタマーサポートチームは最も不満のある顧客にのみ集中でき、緊急メッセージの 100% に対応しつつ、中立的または肯定的なフィードバックを除外することが可能になります。

データセットの選択とキュレーション

モデルの性能は、トレーニングデータの品質と関連性に大きく依存します。実際のアプリケーションでは社内データの使用が推奨されますが、Hugging Face はこのシミュレーションのために amazon_reviews_multi データセットを利用しました。

データセット評価基準

  • Quality: データは想定される実世界のユースケースに対応し、多様でバイアスがないことが必要です。
  • Size: 大規模なデータセットは一般的に性能向上につながります。

複数の選択肢の中で、amazon_reviews_multi が選ばれたのは、1〜5 星の細かい感情ラベルを提供し、5 つの必要な感情カテゴリに直接マッピングできるためです。一方、Amazon polarity のような他のデータセットは二値ラベルしか提供していませんでした。

モデルの選択とファインチューニング

この実装では microsoft/deberta-v3-base モデルが選択されました。DeBERTa は GLUE や SuperGLUE といったベンチマークで上位にランクインしており、テキスト分類能力を評価します。

技術的実装ワークフロー

  1. Preprocessing: datasets ライブラリを使用し、review_body をトークナイズし、最大長 128 トークンに制限します。ラベル (1-5) はモデルとの互換性のため 0-4 の範囲にシフトされます。
  2. Training: モデルは Hugging Face の Trainer API を用いて以下のハイパーパラメータでファインチューニングされます:
    • Epochs: 2
    • Learning Rate: 2e-5
    • Warmup Steps: 200
    • Evaluation Strategy: 5,000 ステップごと
  3. Metrics: 初期評価は標準的な精度を使用しました。モデルは 50,000 ステップ後、検証セットで約 61.8% の精度を達成しました。

ユースケース固有の評価

ビジネス目標が特定の場合、標準的な精度は誤解を招くことがあります。顧客サービスにおけるモデルの有用性をより正確に測るため、Hugging Face は「非常に不満」クラスに焦点を当てたカスタム指標を実装しました。

「非常に不満」および「不満」ラベルの両方を対応対象とすることで、モデルはテストセットで以下の結果を得ました:

  • 非常に不満な顧客のリコール率: 約 95%（非常に不満なメッセージが正しく検出された割合）。
  • 偽陽性率: 約 12%（満足なメッセージが誤って不満とラベル付けされた割合）。

ビジネスインパクトシミュレーション

1日あたり 10,000 件のメッセージ（うち 500 件が非常にネガティブ）というシナリオでは、このシステムは人的作業量を 10,000 件から約 1,700 件に削減します。これは 人的労力を 83% 削減 したことに相当し、最も緊急な苦情の 5% だけが見逃されます。

本番環境での最適化

モデルが許容できる性能に達したら、Hugging Face は本番環境での最適化に向けて以下の複数のアプローチを推奨します:

  • Hardware and Precision: 最適化された GPU を活用し、精度を float16 に下げる。
  • Accelerator Libraries: ONNX Runtime、量子化、または NVIDIA Triton のような推論サーバーを使用する。
  • Hugging Face Optimum: Transformers モデルの最適化を簡素化するよう設計されたオープンソースライブラリ。
  • Inference API: 深い技術インフラ知識を必要とせずに、本番環境で機械学習タスクを提供できるプラグアンドプレイソリューション。

Sources