Kinney Drugs AI 전화 어시스턴트 도입 철회

Kinney Drugs, 심각한 오류 발생 후 AI 어시스턴트 축소 운영

Kinney Drugs는 AI 어시스턴트인 "Burt"가 수백 건의 고객 불만을 야기함에 따라, 수신 환자 전화 시스템을 기존의 터치톤(touch-tone) 모델로 되돌리고 있습니다. 해당 약국 체인은 AI 어시스턴트가 잘못된 약물 복용량 제공, 일관성 없는 응답, 처방 알림 누락 등 핵심적인 영역에서 실패했다고 보고했습니다.

회사는 처방전 재처방 문자 메시지와 같은 발신 통신에는 Burt를 계속 유지할 예정이지만, 이러한 서비스는 이제 환자의 명시적인 동의(opt-in)를 필요로 합니다.

"Burt" AI의 기술적 및 운영적 실패

2026년 5월에 도입된 Burt는 재처방 및 처방전과 관련된 환자 통신을 처리하도록 설계되었습니다. 그러나 구현 과정에서 환자의 안전과 사용자 경험을 저해하는 심각한 신뢰성 문제가 발생했습니다.

심각한 오류 및 사용자 경험

고객들은 AI가 약국의 복잡한 상호작용을 처리하지 못한다고 보고했으며, 이는 다음과 같은 결과로 이어졌습니다:

• 의학적 부정확성: 봇이 환자에게 잘못된 복용량 정보를 제공했습니다.
• 통신 단절: 통화 내용이 일관성이 없어 환자들이 필요한 건강 정보를 받는 데 어려움을 겪었습니다.
• 알림 실패: 시스템이 중요한 처방 알림을 놓쳤습니다.

개인정보 보호 및 규정 준수 주장

개인 건강 정보 노출에 대한 고객들의 우려에 대해, Kinney Drugs의 사장인 John Marraffa는 시스템이 HIPAA를 완전히 준수하고 있다고 밝혔습니다. Marraffa는 또한 AI가 오픈 소스가 아니며 "데이터를 생성하거나 조작하지 않는다"고 주장했으나, 생성형 AI는 정의상 출력을 생성한다는 점을 지적한 기술 관찰자들로부터 회의적인 반응을 얻었습니다.

의료 분야 Voice AI에 대한 업계의 관점

Burt 어시스턴트의 실패는 AI 자동화에 대한 추진력과 약국과 같이 위험도가 높은 환경에서의 전문 지식 필요성 사이의 광범위한 긴장 상태를 보여줍니다.

전문 지식의 역할

업계 내부 관계자들은 AI 에이전트를 위한 기술은 존재하지만, 주요 병목 현상은 구현 및 도메인 특화 지식이라고 시사합니다. 한 약국 AI 벤더는 성공적인 배포를 위해서는 AI가 업계의 중요한 뉘앙스를 이해할 수 있도록 약사를 프로젝트 매니저로 고용해야 한다고 언급했습니다.

고위험 사용 사례

분석가와 엔지니어들은 다음과 같은 몇 가지 요인 때문에 약국 전화 라인이 Voice AI의 본질적으로 부적절한 첫 번째 사용 사례라고 주장합니다:

• 사용자 인구 통계: AI 인터페이스에 대한 인내심이 적을 수 있는 고령층 통화자의 높은 비율.
• 데이터의 복잡성: 복잡한 약물 이름과 보험 세부 정보를 정확하게 처리하는 것의 어려움.
• 오차에 대한 무관용: 일반적인 고객 서비스와 달리, 약물 복용량의 오류는 생명을 위협하는 결과를 초래할 수 있습니다.

커뮤니티 비판의 종합

기술 전문가들 사이의 논의에 따르면, Kinney Drugs의 사건은 고객 경험보다 비용 절감을 우선시하는 경영진의 "근시안적인 결정"이라는 더 큰 추세의 일부입니다.

"기업들이 고객을 AI에게 떠넘기는 것은 위험한 도박이다. 여러 면에서 이것은 2000년대 인도 콜센터의 참사와 반복되는 것이다... AI는 약한 리더십이 내린 근시안적인 결정의 이야기가 다시 재현되는 것일 뿐이다."

다른 비판가들은 지역 약국에 있어 개인적인 대면 서비스는 자동화로 대체될 때 소멸되는 주요 경쟁 우위라고 주장합니다. 또한 많은 기업이 실제 운영 환경에서 반복적이고 구체적인 결과를 제공할 능력이 아직 없는 "임시방편적인(hacky)" LLM 구현을 배포하고 있다는 지배적인 의견도 있습니다.