Choco는 AI 에이전트로 식품 유통을 자동화합니다

개요

Choco는 식품 유통 플랫폼 전반에서 주문 캡처 및 처리를 자동화하는 AI 에이전트를 도입하여 수작업을 줄이고 24/7 주문 입력을 가능하게 했습니다.

OrderAgent

OrderAgent는 이메일, SMS, 이미지, 문서와 같은 멀티모달 입력을 처리하여 OpenAI API를 활용한 전사, 추출 및 동적 컨텍스트 내 학습을 통해 각 고객의 주문 기록과 카탈로그를 활용해 모호성을 해결함으로써 구조화되고 ERP 준비가 된 주문으로 변환합니다.

VoiceAgent

VoiceAgent는 OpenAI의 Realtime API를 기반으로 하여 고객이 영업 시간 외에도 전화로 자연스럽게 주문할 수 있도록 초저지연(sub‑second latency)으로 음성‑텍스트 변환 및 실시간 함수 호출을 처리합니다.

구현 및 평가

Choco는 음성‑텍스트, 임베딩, 함수 호출을 위한 OpenAI SDK와 API를 통합하고, ground‑truth 데이터셋, 지속적인 모니터링, A/B 테스트를 포함한 엄격한 평가 프레임워크를 구축했으며, 신뢰도 임계값을 충족할 때 주문 처리를 자동화하는 선택적 Autopilot 모드를 추가하여 엣지 케이스에 대해서는 인간 검토를 유지했습니다.

결과

해당 시스템은 연간 880만 건 이상의 주문을 처리하며, 수작업 주문 입력을 최대 50% 감소시키고, 생산성을 2배 향상시키며, 구성 가능한 자동화 임계값을 통해 오류율을 1~5% 이하로 유지하고, 야간 및 주말 지연을 제거하는 24/7 주문 입력을 지원합니다.

리더십 교훈

첫날부터 평가를 시작하세요: nawet 10~20개의 예시로 구성된 작은 ground‑truth 데이터셋이라도 팀이 진행 상황을 측정하고 개선 사항을 검증하며 확신을 가지고 반복할 수 있습니다.

AI 네이티브 옵저버빌리티에 투자하세요: AI 시스템 디버깅은 전통적인 로그 이상이 필요하며, 모델 입력, 출력 및 reasoning traces를 캡처하는 것이 성능을 이해하고 향상시키는 데 필수적입니다.

초기에 올바른 기대를 설정하세요: 결정적 소프트웨어와 달리 LLM은 확률적입니다. 팀과 사용자에게 이 차이를 교육하는 것은 신뢰를 구축하고 도입 과정에서 마찰을 피하는 데 중요합니다.

앞으로의 계획

Choco는 식품 유통 생태계 전반에 걸쳐 AI 역량을 확장하여 에이전트가 복잡한 운영 워크플로를 실행하는 역할을 심화시키고, 비엔지니어도 비즈니스 결과를 이끄는 지능형 시스템을 설계하고 관리하는 “에이전트 오케스트레이터”로 활동할 수 있도록 하며, 판매, 상거래 및 공급망 운영 전반에서 더 자율적이고 상황 인식이 가능한 시스템을 구동하기 위해 OpenAI API 사용을 확대할 계획입니다.