Ada 고객 서비스 자동화 with GPT-4

Ada는 AI 기반 고객 서비스 플랫폼을 OpenAI의 GPT-4로 구동되는 추론 기반 아키텍처로 전환했으며, 자동 해결 비율이 두 배로 증가했습니다. 주요 성과 지표를 "containment rate"에서 "resolution rate"로 전환함으로써, Ada는 높은 자동화 수준을 유지하면서 실제 고객 경험을 개선했습니다.

Containment에서 Resolution으로 지표 전환

Ada는 업계 표준인 "containment rate"보다 우수한 지표로 "resolution rate"를 도입했습니다. containment rate는 고객 문의가 인간 상담원에게 전달되지 않고 챗봇에 의해 처리되었는지만 측정하고, 고객의 문제가 실제로 해결되었는지는 고려하지 않습니다.

이를 구현하기 위해 Ada는 GPT-4와 과거 데이터를 활용한 평가 프레임워크를 개발하여, 고객이 관련성 있고 정확하며 안전한 답변을 받았는지 여부에 따라 대화를 평가합니다. 이 자동 평가 시스템은 인간 리뷰어와 80–90% 일치합니다.

기술 구현 및 모델 선택

Ada는 OpenAI API를 기반으로 하는 다중 에이전트 구성으로, 중앙 계획 에이전트와 여러 하위 에이전트로 구성됩니다. 모든 고객 문의는 이해, 반성, 도구 호출, 지식 검색 등 여러 단계의 처리를 거쳐 최종 답변이 생성됩니다.

Ada는 세 가지 주요 기술적 요인을 기반으로 OpenAI 모델을 선택했습니다:

• Inference Quality: 수십만 명의 고객을 시뮬레이션하는 합성 테스트 프레임워크를 통해, Ada는 OpenAI 모델이 평가 세트에서 다른 주요 모델들을 지속적으로 능가한다는 것을 발견했습니다.
• Latency: 실시간 음성 사용 사례에서, Ada는 GPT-4o 도입으로 품질과 지연 시간 모두에서 큰 향상을 보고했습니다.
• Hallucination Control: Ada는 OpenAI의 파인튜닝 API를 사용하여 응답에서 환각이 발생할 가능성에 대한 신뢰도 점수를 생성하고, 이를 통해 툴체인 내 부정확성을 최소화합니다.

해결 비율 및 ROI에 미치는 영향

LLM 기반 아키텍처로의 전환은 인간 개입 없이 해결되는 문의 비율을 크게 증가시켰습니다. 이전 Ada 제품 버전은 70%의 containment rate와 30%의 resolution rate만을 유지했지만, 새로운 시스템은 유사한 containment 수준을 유지하면서 일반적으로 60%의 resolution rate를 달성하고, 최고 성능 고객은 80%를 초과합니다.

이러한 해결 비율 증가가 투자 수익률(ROI)에 직접적인 영향을 미칩니다:

• 풀타임 동등(FTE) 절감.
• 고객 만족도 및 유지율 향상.
• 신규 가입자 증가.

AI 자동화에 대한 향후 전망

Ada의 목표는 100% 해결 비율을 달성하는 것으로, 이 목표를 "언제가 아니라, 언제가 될지"에 대한 문제로 보고 있습니다. 회사는 향후 12개월 동안 제품 투명성을 높이고, 고객이 AI 에이전트를 온보딩, 측정, 코칭할 수 있는 제어 레버를 제공하여 인간 에이전트를 관리하는 방식과 유사하게 지원하는 데 집중할 것입니다.