Kinney Drugs AI 電話助理回歸傳統模式
Kinney Drugs 在 AI 助理出現嚴重錯誤後縮減規模
由於其 AI 助理「Burt」引發了數百件客戶投訴,Kinney Drugs 正將其來電患者通訊系統恢復為傳統的撥號模式。該連鎖藥局報告指出,該 AI 助理在關鍵領域出現失靈,包括提供錯誤的藥物劑量、提供語無倫次的回答,以及遺漏處方通知。
雖然該公司將保留 Burt 用於外呼通訊(例如處方箋續藥簡訊),但這些服務現在需要患者明確表示同意(opt-in)。
「Burt」AI 的技術與營運失靈
Burt 於 2026 年 5 月推出,旨在處理有關續藥和處方箋的患者通訊。然而,該實施方案導致了嚴重的可靠性問題,損害了患者安全與使用者體驗。
關鍵錯誤與使用者體驗
客戶反映該 AI 無法處理藥局互動的複雜性,導致:
- 醫療錯誤: 機器人向患者提供了錯誤的劑量資訊。
- 通訊中斷: 通話被描述為語無倫次,使患者難以獲取必要的健康資訊。
- 通知失敗: 系統遺漏了關鍵的處方通知。
隱私與合規聲明
針對客戶對個人健康資訊外洩的擔憂,Kinney Drugs 總裁 John Marraffa 表示該系統完全符合 HIPAA 合規要求。Marraffa 進一步聲稱該 AI 並非開源,且「不會產生或操縱數據」,儘管這一說法受到了技術觀察人士的質疑,因為他們指出生成式 AI(generative AI)從定義上來說就是會產生輸出內容的。
業界對醫療保健領域語音 AI 的看法
Burt 助理的失敗凸顯了推動 AI 自動化與在藥局等高風險環境中對領域專業知識的需求之間,存在著更廣泛的緊張關係。
領域專業知識的角色
業界人士指出,雖然 AI 代理(AI agents)的技術已經存在,但主要的瓶頸在於實施過程與特定領域的知識。一家藥局 AI 供應商指出,成功的部署需要聘請藥劑師擔任專案經理,以確保 AI 理解該產業的關鍵細節。
高風險使用案例
分析師和工程師認為,由於以下幾個因素,藥局電話線本質上並非語音 AI 的理想首選使用案例:
- 使用者人口統計: 有大量年長通話者,他們對 AI 介面的耐心可能較低。
- 數據複雜性: 準確處理複雜藥名和保險細節的難度極高。
- 對錯誤零容忍: 與一般客戶服務不同,藥物劑量的錯誤可能導致生命危險。
社群評論綜合
技術專業人士之間的討論顯示,Kinney Drugs 事件是領導層優先考慮成本削減而非客戶體驗的「短視決策」大趨勢的一部分。
"Companies will pawn off their customers to AI at their peril. In many ways this is a repeat of the India call center train wrecks of the 00s... AI is just that story of shortsighted decisions by weak leadership playing out all over again."
其他批評者認為,對於區域性藥局來說,人性化的個人服務是其主要的競爭優勢,一旦被自動化取代,這種優勢就會被削弱。此外,目前普遍存在一種觀點,認為許多公司正在部署「草率的」(hacky)LLM 實施方案,這些方案在生產環境中尚無法提供可重複、具體的結果。
Sources
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch