Anthropic Project Vend 2단계: AI 점원이 수익성을 확보했지만 여전히 인간의 감시가 필요하다

요약

Anthropic는 AI 점원 클로디우스(Cloudius)를 클로드 손넷 3.7에서 4.0/4.5로 업그레이드하고, CRM, 재고 관리, 웹 검색 등 다양한 도구를 추가하며, CEO 에이전트(세이모어 캐시)와 상품 제작 에이전트(클로티우스)를 도입했다. 이로 인해 샌프란시스코, 뉴욕, 런던에서의 자판기 사업이 수익을 내게 되었지만, 시스템은 여전히 광범위한 인간의 감시가 필요했으며, 중요한 안전성 및 법적 약점이 드러났다.

2단계 기술적 업그레이드

모델 업그레이드

1단계는 클로드 손넷 3.7을 사용했다.
2단계는 클로드 손넷 4.0 및 이후 손넷 4.5로 전환하여 더 높은 추론, 코딩, 언어 능력을 제공했다.

확장된 도구 세트

CRM 접근 – 클로디우스가 고객, 공급업체, 주문, 배송을 추적할 수 있도록 했다.
개선된 재고 관리 – 구매 비용을 실시간으로 확인할 수 있어 손실을 초래하는 판매를 줄였다.
향상된 웹 검색 및 브라우저 – 가격 확인, 공급업체 비교, 심층 조사 가능 (여전히 직접 결제 통합 없음).
생활 편의성 도구 – Google 폼 생성, 결제 링크 생성 (주문 전 자금 확보용), 알림 설정.

이 도구들은 1단계에서 겪었던 '구조적 빈틈'을 해결하여 에이전트가 비즈니스 결정을 위한 구체적인 데이터 소스를 확보할 수 있게 했다.

조직적 변화

CEO 에이전트 – 세이모어 캐시

목표 설정(예: "이번 주에 100개 판매", "손실 거래 없음")을 위한 감독 AI인 세이모어 캐시를 도입했다.
"목표 및 핵심 결과" 도구와 에이전트 간 Slack 채널을 통해 보고를 수행했다.
결과: 할인율 약 80% 감소, 무료 제공 품목 반으로 줄었지만, 환불 및 매장 쿠폰 사용 증가, CEO는 종종 비현실적이고 비징크한 메시지(예: "영원한 초월")를 발행했다.
수익에 대한 전반적인 영향은 혼합적이었으며, CEO의 존재보다는 사업 자체의 성공이 더 큰 영향을 미쳤다.

상품 제작 에이전트 – 클로티우스

맞춤형 의류 및 기념품 제작을 전담하는 AI.
인기 상품(티셔츠, 모자, 스트레스 볼)을 생산했으며, 안돈 랩스가 자체 레이저 각인 기계를 도입한 후 텅스텐 큐브 브랜딩으로 소규모 수익을 창출했다.
명확한 역할 분리는 클로디우스가 음식/음료 판매에 집중할 수 있게 해 전체 효율성을 높였다.

비즈니스 성과 지표

지역 확장 – 세 곳의 자판기 위치: 샌프란시스코(2대), 뉴욕, 런던.
수익성 – 마이너스 마진 주간은 거의 사라졌으며, CEO 보고에 따라 하루 수익이 $408.75(목표 대비 208%)까지 상승했다.
제품 구성 – 주요 판매 품목은 맞춤 상품이었으며, 수익률은 다양했고 일부 저가 모자 제품은 성과 부진.
운영 안정성 – CRM, 재고, 웹 검색 도구는 더 현실적인 가격 책정과 배송 예측과 관련성이 높았다.

성공한 요소들

절차적 강제 – 클로디우스에게 연구 도구를 통해 가격과 배송을 두 번 확인하도록 유도하면 더 높고 현실적인 가격과 신뢰할 수 있는 장기 리드 타임이 가능해졌다.
비공식적 구조 – 체크리스트와 공식 승인 절차를 통해 무모한 할인과 무료 제공을 줄였다.
역할 분리 – 클로티우스가 상품 디자인을 담당해 클로디우스가 핵심 점포 운영에 집중할 수 있게 했다.
인간 기반 레드팀 테스트 – 내부 직원과 외부 파트너(예: 월스트리트저널)가 극단적인 사례를 노출하여 반복적인 개선을 가능하게 했다.

지속적인 실패 패턴

법적 무지 (무법 상인)

클로디우스와 세이모어 캐시가 대량 온يون 가격 고정 계약을 작성했지만, 1958년 온يون 선물법을 위반하는 것을 몰랐다. 인간의 개입으로 거래가 중단되었다.

보안 실수

가짜 도난 사건에 직면했을 때, 클로디우스는 도둑을 식별하려 시도하고 $10/시간의 보안 급여를 제안했지만, 이는 권한을 초과했고 캘리포니아 최저임금보다 낮았다. 이후 CEO에게 위임했다.

거버넌스 혼란 (위장 CEO)

직원 주도의 이름 투표로 클로디우스는 동료인 미히르가 CEO가 되었다고 오해하며, 의도된 세이모어 캐시의 역할을 일시적으로 무시했다.

이 사례들은 에이전트들이 여전히 견고한 법적 추론, 권한 경계, 거버넌스 보호 장치를 갖추지 못하고 있음을 보여준다.

자율 AI의 비즈니스 적용에 대한 시사점

능력 격차 – 업그레이드된 모델과 도구 접근은 AI가 손실을 내는 상태에서 수익을 내는 상태로 전환할 수 있지만, 견고성은 여전히 제한적이다.
인간의 개입 필요성 – 2단계 전반에 걸쳐 지속적인 감시, 법적 검토, 수정적 프롬프팅이 필수적이었다.
디자인 교훈 – 효과적인 AI 에이전트는 명확한 절차, 역할 분리, 적절한 감독 에이전트가 필요하다. 지나치게 대화적인 또는 방향이 어긋난 CEO는 성능을 저하시킬 수 있다.
미래 리스크 – AI 에이전트의 자율성이 증가함에 따라 산업은 경제적 잠재력과 안전성, 합법성, 윤리적 고려 사항을 균형 있게 고려할 수 있는 가드레일을 개발해야 한다.

감사의 말

Project Vend은 안돈 랩스(하드웨어, 소프트웨어, 재고 관리)와 키어 브래드웰, 알리슨 라탄자티오, 아므리타 키니, 라이언 오홀러런의 기여를 통해 구현되었다.