Stanford CS547 HCI Seminar: 특화된 AI 상호작용을 위한 실시간 목표

Stanford CS547 HCI Seminar: 특화된 AI 상호작용을 위한 실시간 목표

AI 상호작용에서의 "스포크 문제"

일반적인 AI 출력은 Michelle Lam이 "스포크 문제"라고 부르는 현상의 결과이다. 스포크가 숟가락과 포크의 역할을 동시에 하려다 어느 쪽도 잘 하지 못하는 것처럼, 현대 대형 언어 모델(LLM)은 만능 비서, 주제 전문가, 편집자 역할을 모두 수행하도록 설계되었다. 개발자는 훈련 단계에서 모든 사용자 상황을 예측할 수 없기 때문에 폭넓은 가정을 삽입하고, 종종 상충되는 다양한 선호에 맞춰 모델을 미세조정한다. 이로 인해 "스포크와 같은" 인터페이스가 만들어진다: 사용자의 구체적인 목표와 무관하게 일반적인 출력을 생성하는 단일 입력 방식.

이러한 획일화는 단순히 편리함의 문제가 아니다; 중요한 텍스트에 대한 얕은 이해, 소셜 피드에서의 정치적 양극화 심화, 동일한 도구에 의존하는 인구 전체의 동질적 사고 경향을 초래할 수 있다. 사용자는 복잡한 프롬프트를 통해 이러한 기본값을 무시하려 할 수 있지만, 프롬프트 작성은 노력과 반응성이 요구되며 평균 사용자에게는 어려운 작업이다.

실시간(Just‑in‑Time, JIT) 목표

일반적인 AI에 대응하기 위해 Lam은 실시간(Just‑in‑Time, JIT) 목표를 제안한다. 사전에 정의된 시스템 목표에 의존하는 대신, JIT 아키텍처는 상호작용 시점의 작업 공간 스크린샷이나 웹 페이지의 원시 DOM과 같은 인터랙션 흔적을 관찰함으로써 사용자의 순간 목표 모델을 유도한다.

JIT 목표가 유도되는 방식

JIT 목표는 이름, 상세 설명, 가중치로 구성된 경량 모델이다. 유도 과정은 다음 원칙을 따른다:

  • 낮은 비용의 관찰: 수집이 쉬운 스크린샷, DOM 등 보편적인 입력을 우선한다.
  • 즉시적 경계 설정: 현재 순간에 초점을 맞춰 현재 활동을 더 잘 포착한다.
  • 불확실성 추론: LLM이 자신의 불확실성을 명시하도록 허용하고, 파이프라인이 이를 기반으로 추론한다.

200명 이상의 참가자를 대상으로 한 연구에서 JIT 목표는 매우 높은 정확도를 보였으며, 사용자는 약 98%의 경우에 유도된 목표를 선택했다.

Generator‑Evaluator 아키텍처를 통한 구현

JIT 목표는 기본 모델을 재학습할 필요 없이 기존 AI 시스템에 통합될 수 있다. 이 아키텍처는 초기 사용자 프롬프트를 유도된 목표로 교체하고, 두 주요 구성 요소를 조정한다:

  1. Generator(생성기): JIT 목표를 생성 프롬프트에 추가해 산출물(예: UI 사양, 코딩 계획)을 맞춤화한다.
  2. Evaluator(평가기): 목표를 평가 루브릭에 포함시켜 시스템이 일반적인 품질이 아닌 사용자‑특화 기준에 따라 출력을 다듬도록 한다.

이 접근법은 목표에 대한 "힐 클라이밍"을 가능하게 하여, 시스템이 반복적으로 출력을 개선해 유도된 목표와 더 잘 일치하도록 만든다. 직접 비교 실험에서 JIT 생성기는 기준 모델에 비해 약 70%의 비율로 선호되는 출력을 생성했다.

JIT 프레임워크의 실용적 적용

Poppins: 온‑디맨드 UI 생성

Poppins는 브라우저 확장 프로그램으로, 실시간 UI 생성을 통해 JIT 목표를 시연한다. 채팅 인터페이스 대신 사용자의 화면을 관찰하고 즉시 특화된 소프트웨어 도구를 생성한다. 예시:

  • 프레젠테이션 흐름 정리기: 연구 발표 구조를 다듬는 사용자에게.
  • 캐릭터 감정 추적기: 단편 소설에서 감정 흐름을 추적해 일관성 문제를 찾아내는 작가에게.
  • 기술 방법 탐색기: 알고리즘과 그 하위 응용을 비교하는 연구자에게.

Loom: 조정 가능한 토픽 모델링

전문가를 위해 Lam은 Loom이라는 파이썬 패키지를 소개한다. 이는 조정 가능하고 해석 가능한 텍스트 분석을 제공한다. 전통적인 토픽 모델이 모호한 키워드만 반환하는 반면, Loom은 명시적 포함 기준으로 정의된 고수준 개념을 드러낸다.

Loom의 모듈식 파이프라인:

  • Distill: 문서에서 핵심 인용문과 요점을 추출한다.
  • Cluster: 임베딩과 HDBSCAN을 이용해 관련 텍스트 구간을 군집화한다.
  • Synthesize: LLM을 활용해 군집 간 통합 개념을 도출한다.
  • Score: 개념이 문서에 나타나는지를 매핑해 검증한다.
  • Seed: 사용자가 시드 용어를 제공해 어떤 연산자든 조정하도록 한다.

소셜 미디어를 위한 사회적 목표 함수

Lam은 파티시스트 적대감과 같은 시스템적 문제를 해결하기 위해 JIT 목표를 소셜 컴퓨팅에 확장한다. 현재 소셜 피드는 참여(좋아요/클릭)를 최적화하는데, 이는 종종 양극화를 심화시킨다.

사회 과학에서 정의된 "반민주적 태도와 파티시스트 적대감"(APA) 구성을 AI 목표 함수로 변환하여 피드 재정렬 파이프라인을 구축했다. 이 파이프라인은 LLM을 사용해 게시물을 APA 변수에 따라 평가하고, 파티시스트 적대감을 유발하는 콘텐츠를 하위 순위에 둔다. 실험 결과, 이 알고리즘 개입은 민주당원과 공화당원 모두의 파티시스트 적대감을 크게 감소시켰다.

미래 비전: 사용자 소유 AI

Lam은 "AI 스포크"에서 "메리 포핀스 가방"으로의 전환을 상상한다—다양한 기능을 내장하지만 현재 작업에 필요한 특정 도구만 표출하는 사용자 소유 AI 시스템이다. 이 비전은 세 가지 핵심 축으로 구성된다:

  1. 적응형 인터페이스: 고정된 사전 정의 인터페이스를 넘어, 실시간으로 사용자에 맞춰 변형되는 컴퓨팅 환경을 제공해 즉각적, 장기적, 사회적 목표를 모두 충족한다.
  2. AI 상호작용 관측소: 대규모 최종 사용자 목표로부터 학습해 새로운 과제와 문제를 발견하는 인프라를 구축한다. 단순 LLM 로그를 넘어선다.
  3. 거버넌스와 소유권: 사용자가 자신의 기기에서 모델을 미세조정하고, 신뢰할 수 있는 커뮤니티 구성원과 데이터·연산을 공유해 공동 목표를 달성할 수 있는 기술·사용성 프레임워크를 개발한다.

요약: Michelle Lam은 인터랙션 흔적으로부터 자동으로 사용자 목표를 유도하는 '실시간(Just‑in‑Time, JIT) 목표' 프레임워크를 제시한다. 이를 통해 일반적인 AI 출력을 특화되고 사용자 맞춤형 도구와 상호작용으로 대체한다.

제목: Stanford CS547 HCI Seminar: 특화된 AI 상호작용을 위한 실시간 목표

Sources