Ada 客戶服務自動化與 GPT-4
Ada 已將其 AI 原生的客戶服務平台轉換為由 OpenAI 的 GPT-4 驅動的推理式架構,使自動解決率翻倍。透過將主要績效指標從「containment rate」轉為「resolution rate」,Ada 改善了實際的客戶體驗,同時保持高自動化水平。
從 Containment 轉向 Resolution 的指標調整
Ada 引入了「resolution rate」作為優於業界標準「containment rate」的指標。containment rate 只衡量客戶詢問是否由聊天機器人處理而未轉接至人工客服,卻未考慮客戶問題是否真的得到解決。
為了實踐此目標,Ada 開發了一套使用 GPT-4 與歷史資料的評估框架,根據客戶是否收到相關、正確且安全的回覆來評估對話。此自動化評估系統與人工審核者的意見一致率達到 80–90%。
技術實作與模型選擇
Ada 採用由 OpenAI API 支援的多代理人配置,包含一個中心規劃代理人與多個子代理人。每筆客戶查詢會經過多輪處理——包括理解、反思、工具呼叫與知識檢索——之後才產生最終答案。
Ada 依據三大技術驅動因素選擇 OpenAI 的模型:
- 推論品質: 透過模擬數十萬客戶的合成測試框架,Ada 發現 OpenAI 模型在其評估集合上始終優於其他主要模型。
- 延遲: 在即時語音使用情境中,Ada 報告採用 GPT-4o 後在品質與延遲上都有顯著提升。
- 幻覺控制: Ada 使用 OpenAI 的微調 API 產生回應中幻覺可能性的信心分數,從而在其工具鏈中最小化不準確性。
解決率與投資回報率的影響
轉向基於大型語言模型的架構大幅提升了無需人工介入即能解決的查詢比例。先前版本的 Ada 產品維持 70% 的 containment rate,卻只有 30% 的 resolution rate;新系統在保持相似的 containment 水平下,將 resolution rate 提升至通常 60%,頂尖客戶更可超過 80%。
此解決率的提升直接透過以下方式影響投資回報率 (ROI):
- 全職等效 (FTE) 成本節省。
- 提升客戶滿意度與留存率。
- 新增註冊數量提升。
AI 自動化的未來展望
Ada 的目標是達到 100% 的 resolution rate,將此目標視為「何時」而非「是否」的問題。公司在未來 12 個月將專注於提升產品透明度,並為客戶提供更多控制杠桿,使其能像管理人工客服一樣上線、衡量與指導 AI 代理人。