Ada カスタマーサービス自動化（GPT-4）

AdaはAIネイティブのカスタマーサービスプラットフォームを、OpenAIのGPT-4を活用した推論ベースのアーキテクチャへと移行し、自動解決率を倍増させました。「コンテインメント率」から「解決率」へ主要なパフォーマンス指標をシフトすることで、Adaは高い自動化レベルを維持しながら実際の顧客体験を向上させました。

コンテインメントから解決への指標シフト

Adaは業界標準の「コンテインメント率」よりも優れた指標として「解決率」を導入しました。コンテインメント率は、顧客の問い合わせが人間エージェントに届かずにチャットボットで処理されたかどうかだけを測定し、顧客の問題が実際に解決されたかどうかは考慮しません。

これを実現するために、AdaはGPT-4と過去データを用いた評価フレームワークを開発し、顧客が関連性があり、正確で、安全な返信を受け取ったかどうかで会話を評価します。この自動評価システムは、人間のレビュアーと80〜90％の一致率を達成しています。

技術実装とモデル選択

AdaはOpenAIのAPIを活用したマルチエージェント構成を使用し、中央のプランニングエージェントと複数のサブエージェントで構成されています。すべての顧客問い合わせは、理解、反省、ツール呼び出し、知識取得といった複数ターンの処理を経て最終的な回答が生成されます。

Adaは以下の3つの主要な技術的要因に基づいてOpenAIのモデルを選択しました：

• 推論品質: 数十万件の顧客をシミュレートする合成テストフレームワークを通じて、AdaはOpenAIモデルが評価セットで他の主要モデルを一貫して上回っていることを確認しました。
• レイテンシ: リアルタイム音声ユースケースにおいて、AdaはGPT-4oの採用により品質とレイテンシの両方で大幅な向上を報告しました。
• 幻覚制御: AdaはOpenAIのファインチューニングAPIを利用して、応答における幻覚の可能性に関する信頼度スコアを生成し、ツールチェーン内の不正確さを最小化しています。

解決率とROIへの影響

LLMベースのアーキテクチャへのシフトにより、人間の介入なしで解決される問い合わせの割合が大幅に増加しました。従来のAda製品は70％のコンテインメント率で解決率は30％にとどまっていましたが、新システムは同程度のコンテインメント率を維持しつつ、解決率を通常60％に引き上げ、トップパフォーマンスの顧客では80％を超えています。

この解決率の向上は、以下の点で投資利益率（ROI）に直接影響します：

• フルタイム換算（FTE）削減。
• 顧客満足度とリテンションの向上。
• 新規サインアップの増加。

AI自動化の将来展望

Adaの目標は100％の解決率を達成することであり、この目標は「もし」ではなく「いつ」実現するかの問題と捉えています。同社は今後12か月間、製品の透明性を高め、顧客がAIエージェントをオンボード、測定、コーチングできる制御レバーを増やすことに注力し、人間エージェントの管理と同様の方法でAIエージェントを扱えるようにします。