인간-AI 상호작용에서 에이전시 촉진: Stanford CS547 HCI 세미나
인간-AI 상호작용에서 에이전시 촉진: Stanford CS547 HCI 세미나
AI 어시스턴트에서 AI 어드바이저로의 전환
인간-AI 상호작용은 사용자가 대규모 언어 모델(LLM)을 단순히 작업 자동화 어시스턴트로만 사용하기보다 건강, 경력, 인간관계와 같은 깊이 개인적인 주제에 대한 조언을 구하는 경우가 늘어나면서 근본적인 변화를 겪고 있습니다. 어시스턴트가 사용자를 대신해 행동을 수행하는(예: 코드 작성) 반면, 어드바이저는 사용자의 믿음과 이해를 변화시켜 사용자가 스스로 더 나은 행동을 할 수 있도록 보강하는 것을 목표로 합니다.
이 구분은 현재 LLM 설계 및 평가 패러다임이 자동화에 초점을 맞추고 있기 때문에 중요합니다. 그러나 개인 성장과 행동 변화를 위해서는 작업을 자동화하는 것이 목표가 아니라(AI가 사용자를 대신해 운동을 할 수 없으므로) 사용자가 스스로 행동하도록 권한을 부여하는 것이 목표입니다. 이러한 접근은 컴퓨터를 단순한 계산기가 아니라 인간 보강을 위한 도구로 본 Douglas Engelbart가 제시한 초기 인간-컴퓨터 상호작용 비전과 일치합니다.
건강 행동 변화에서 에이전시 설계
건강 행동 변화는 성공이 전적으로 사용자의 행동에 달려 있기 때문에 보강 AI를 연구하기에 이상적인 시험대입니다. 에이전시를 촉진하기 위해 AI 시스템은 "처방적"인 행동—즉, 무작정 원치 않는 조언을 제공하거나 해결책을 강요하는 행위—을 피해야 합니다. 이러한 처방은 종종 사용자 자율성을 약화시키고 지속 가능한 변화를 만들지 못합니다.
정성적 맥락의 역할
효과적인 코칭은 정성적 맥락—즉, 개인이 변화를 추구하는 이유의 근본이 되는 목표, 가치, 동기—를 이끌어내는 데 의존합니다. 전통적인 건강 기술이 정량적 맥락(예: 걸음 수, 심박수)을 강조하는 반면, 정성적 맥락이 실제로 행동 변화를 이끌어냅니다.
열린 질문(예: "왜 더 활동적이 되고 싶나요?")을 통해 AI 어드바이저는 두 가지 목표를 동시에 달성합니다:
- 정렬된 효과적인 지원을 제공하기 위해 필요한 정보를 수집합니다.
- 사용자가 과정에 적극적으로 참여하도록 초대함으로써 자신의 자율성을 강화합니다.
비처방적 전략 구현
명령어 튜닝된 LLM의 처방적 특성을 벗어나기 위해 GPT Coach 시스템은 Motivational Interviewing (MI) 전략을 활용해 개발되었습니다. MI는 원치 않는 조언을 피하고 대신 클라이언트 스스로의 변화 이유를 이끌어내는 것을 강조하는 근거 기반 커뮤니케이션 방식입니다.
GPT Coach는 비처방적 행동을 보장하기 위해 세 가지 특정 프롬프트 체인을 활용합니다:
- Dialogue State Chain: 긴 대화 중 모델이 과제에 집중하도록 유지합니다.
- Motivational Interviewing Chain: 모델이 응답을 생성하기 전에 검증된 상담 전략 집합(예: 지지, 열린 질문) 중에서 선택하도록 강제합니다.
- Tool Use Chain: 목표를 일방적으로 제시하기보다 사용자 강점을 확인하기 위해 정량적 웨어러블 센서 데이터를 언제 대화에 보강할지 결정합니다.
LLM 보강 상호작용 평가: GPT Coach와 Bloom
이 시스템들에 대한 연구는 비처방적 AI가 사용자 심리와 참여에 상당한 영향을 미칠 수 있음을 보여줍니다.
GPT Coach 결과
- High Fidelity: 전문가 코딩 결과 GPT Coach가 93% 이상 일관되거나 중립적인 MI 전략을 사용함을 보여줍니다.
- Agency Support: 참가자들은 시스템이 자신의 동기를 반성하도록 도와주었고, 원치 않는 조언 없이 아이디어를 더 구체화시켰다고 보고했습니다.
- Comparison to Vanilla LLMs: 반사실 분석에 따르면 일반 GPT-4는 구조화된 GPT Coach 시스템에 비해 설득 및 원치 않는 조언을 제공하는 경향이 현저히 높았습니다.
Bloom: 코칭을 에코시스템에 통합
Bloom은 코칭 에이전트를 전체 iOS 애플리케이션으로 확장했습니다. 코칭 대화 중 이끌어낸 정성적 맥락을 활용해 협업 목표 설정, 푸시 알림, 데이터 시각화와 같은 하위 상호작용을 개인화했습니다.
54명의 참가자를 대상으로 4주간 현장 연구에서 Bloom은 다음을 보여주었습니다:
- Mindset Shifts: 실험군 참가자들은 신체 활동에 대한 믿음이 더 미묘하게 변화했음을 표현했습니다(예: "운동은 짜증난다"에서 일상의 즐거운 부분으로 인식 변화).
- Increased Engagement: 실험군 사용자는 대조군에 비해 앱 사용 시간이 5배 이상 증가했습니다.
- Agency and Control: 참가자들은 긍정적인 사고 전환이 자신이 통제하고 선택에 대한 에이전시를 느낀 덕분이라고 설명했습니다.
불확실성 탐색을 위한 알고리즘적 접근
프롬프트 기반 비처방성의 주요 제한점은 종종 "하드코딩"되어 경직성이나 과도한 장황함을 초래한다는 점입니다. 이를 해결하기 위해 연구는 Zero-Shot Bayes Adaptive Planning 프레임워크를 제안하여 LLM이 사용자의 잠재 상태($\theta$)에 대한 불확실성을 전략적으로 탐색하도록 돕습니다.
베이즈 적응 MDP 프레임워크
표준 마코프 결정 프로세스(MDP)에서는 에이전트가 모든 사용자를 동일하게 대합니다. 베이즈 적응 MDP에서는 에이전트가 각 사용자가 다르다는 것을 인식하고 상호작용을 통해 특정 사용자에 대해 학습해야 합니다. 에이전트는 $\theta$에 대한 불확실성을 줄이는 유익한 질문을 하는 가치와 현재 정보에 기반해 행동하는 가치를 전략적으로 균형 잡아야 합니다.
3단계 계획 파이프라인
광범위한 사전 학습 데이터 없이 이를 구현하기 위해 다단계 프롬프트 파이프라인을 개발했습니다:
- Belief Elicitation: LLM에 사용자의 잠재 속성(예: 변화 단계)에 대한 사후 확률 분포를 출력하도록 프롬프트합니다.
- Strategy Ranking: LLM은 이러한 믿음을 사용해 기대되는 미래 수익에 따라 고수준 전략(예: "질문하기" vs. "추천하기")을 순위 매깁니다.
- Action Generation: LLM은 선택된 전략과 현재 믿음에 기반해 최종 발화를 생성합니다.
다양한 환경에서의 결과
운동 추천, 의료 진단(MedQ), 협상(Deal or No Deal) 환경에서 테스트한 결과, 이 파이프라인이 정책을 크게 개선함을 확인했습니다. 특히, 불확실성과 믿음에 대해 명시적으로 추론함으로써 작은 모델(GPT-4o mini 등)도 훨씬 큰 최첨단 모델에 필적하는 성능을 회복할 수 있었습니다.