Zendesk와 OpenAI: 고객 서비스를 위한 사전 대응 AI 에이전트로의 전환

의도 기반 봇에서 적응형 추론으로

전통적인 고객 서비스 자동화는 의도 분류에 의존했으며, 시스템이 사용자의 의도를 예측하고 미리 정의된 스크립트를 트리거했습니다. 이 모델은 미묘한 차이, 후속 질문 또는 예외적인 경우에 직면했을 때 종종 실패했으며, "메시지 입력, 응답 출력" 논리를 따랐기 때문입니다.

Zendesk는 FAQ에 대한 기본 Retrieval-Augmented Generation(RAG) 접근 방식에서 생성적 추론으로 접근 방식을 발전시켰습니다. 이를 통해 AI 에이전트는 대화를 주도하고, 컨텍스트를 통해 추론하며, 정적인 대화 흐름을 따르지 않고 독립적으로 해결을 향해 나아갈 수 있습니다.

서비스 해결을 위한 다중 에이전트 아키텍처

자율적인 해결을 달성하기 위해 Zendesk는 GPT-4o를 포함한 OpenAI 모델로 구동되는 다중 에이전트 아키텍처를 활용합니다. 이 시스템은 상호작용의 다양한 단계들을 처리하기 위해 특화된 에이전트를 사용합니다:

• Task Identification Agent: 실제 대화를 수행하여 사용자 요구를 파악하고, 명확화 질문을 통해 유사한 문제를 구분하여 수동 교육을 대체합니다.
• Conversational RAG Agent: 다중 턴 대화에 기반하여 응답을 구체화함으로써 기존 RAG를 강화합니다. 예를 들어, 지역별 정책을 조회하기 전에 사용자의 위치를 물어볼 수 있습니다.
• Procedure Compilation Agent: 자연어 비즈니스 규칙을 구조화된 흐름으로 변환하여 AI 실행이 회사 절차와 일치하도록 보장합니다.
• Procedure Execution Agent: 정의된 비즈니스 로직에 따라 API를 호출하고, 워크플로를 트리거하며, 시스템을 업데이트함으로써 작업을 수행합니다.

하이브리드 개발 및 AI 추론 제어

Zendesk는 에이전트가 대화 흐름과 생성 절차 사이를 원활하게 전환할 수 있는 하이브리드 개발 모델을 도입했습니다. 기업은 이제 자연어를 사용해 절차를 정의할 수 있으며, AI 에이전트는 적응형 추론을 통해 행동 계획을 수립합니다.

투명성과 감사 가능성을 보장하기 위해 Zendesk는 AI 추론 제어 기능을 제공합니다. 이 제어를 통해 팀은 대화 중에 에이전트의 사고 흐름(Chain of Thought, CoT)을 실시간으로 검토하여 의사결정이 어떻게 이루어졌는지 정확히 파악할 수 있습니다.

모델 벤치마킹 및 배포 파이프라인

Zendesk는 지연 시간, 비용, 품질을 기준으로 모델을 평가하는 엄격한 내부 벤치마킹 프로그램을 운영합니다. 이 과정에는 RAG부터 배경 추론까지 다양한 작업에 대해 OpenAI의 o3-mini와 같은 새로운 모델을 테스트하는 것이 포함됩니다.

주요 기술 운영 세부 사항은 다음과 같습니다:

• Deployment Speed: 팀은 새로운 모델을 24시간 이내에 평가, 테스트 및 배포할 수 있습니다.
• Performance Tracking: 성공은 오프라인 평가와 실시간 지표(해결률, 편집률, 지연 시간 등)를 통해 측정됩니다.
• Future Scaling: Zendesk는 엔지니어링 팀이 전문 머신러닝 지식 없이도 모델을 배포할 수 있도록 셀프 서비스 벤치마킹 플랫폼을 출시할 계획입니다.

영향 및 자동화 목표

Zendesk는 현재 초기 채택자와 함께 이 에이전트형 AI 플랫폼을 파일럿하고 있습니다. 이 시스템은 기존 환경과 통합되어 80% 자동화로 가는 경로를 가속화하도록 설계되었습니다. 초기 피드백은 모든 커뮤니케이션 채널에서 설정 시간이 빨라지고 응답 정확도가 향상되었다는 것을 보여줍니다.