프롬프트를 넘어: 네이티브 인터랙션 모델의 부상

수년간 대형 언어 모델(LLM)과 상호작용하는 주요 인터페이스는 "턴 기반" 교환이었습니다: 사용자가 프롬프트를 제공하고, 모델이 이를 처리한 뒤, 모델이 응답을 생성합니다. 정적 작업에는 효과적이지만, 이 패턴은 협업 병목 현상을 크게 만들었습니다. 실제 업무에서는 인간이 이산적인 정보 패킷으로 협업하지 않습니다; 우리는 동시 존재, 동시성, 그리고 실시간으로 끼어들고, 듣고, 반응합니다.

Thinking Machines는 Interaction Models이라는 연구 프리뷰를 소개했습니다. 이는 인터랙티비티를 외부의 "하네스"나 스캐폴딩이 아니라 모델 자체의 고유 기능으로 취급하는 새로운 접근법입니다. 인터랙션을 모델 핵심으로 옮김으로써, AI가 인간과 사람 간 협업만큼 자연스럽게 협업할 수 있도록 하는 것이 목표입니다.

협업 병목 현상

대부분의 최신 최전선 모델은 자율성에 최적화되어 있습니다—인간 개입 없이 긴 작업을 완수하는 능력. 그러나 최근 모델 카드에서 언급되듯, 이러한 모델을 "핸즈‑온‑키보드" 동기식 패턴으로 사용할 때 종종 너무 느리거나 반응이 없다고 느껴집니다. 이는 인터페이스에 인간이 효과적으로 루프에 머무를 여지가 없기 때문입니다.

오늘날 모델은 단일 스레드에서 현실을 경험합니다. 사용자가 타이핑하거나 말하는 것이 끝날 때까지 기다렸다가 인식을 시작하고, 응답을 생성하는 동안 자체 인식이 멈춥니다. 이 좁은 채널은 인간과 AI 사이에 전달될 수 있는 실용적인 지식과 직관적 판단(제임스 C. 스콧이 Métis라 부르는)을 제한합니다.

네이티브 인터랙티비티 접근법

음성 활동 감지(VAD)와 같은 외부 컴포넌트를 억지로 달아 끼어들기를 흉내내는 대신, Thinking Machines는 이러한 역동성을 네이티브하게 처리하도록 인터랙션 모델을 처음부터 학습시킵니다. 이 전환은 몇 가지 질적으로 새로운 능력을 가능하게 합니다:

원활한 대화 관리: 별도의 관리 컴포넌트 없이 모델이 화자가 생각 중인지, 양보 중인지, 자체 교정 중인지를 암묵적으로 추적합니다.
동시 음성: 사용자와 모델이 동시에 말할 수 있어 실시간 번역과 같은 작업에 필수적입니다.
언어 및 시각적 끼어들기: 모델이 침묵 트리거를 기다리지 않고 상황이나 시각적 신호에 따라 즉시 끼어들 수 있습니다.
시간 인식: 경과 시간을 직접 감지하여 모델이 기간을 추적하거나 특정 간격에 말을 시작할 수 있습니다.
동시 도구 사용: 모델이 검색을 수행하거나 UI를 생성하면서 동시에 사용자의 말을 듣고 말할 수 있습니다.

기술 아키텍처: 마이크로‑턴과 듀얼‑모델 설계

이를 구현하기 위해 Thinking Machines는 시간 정렬 마이크로‑턴 설계를 사용합니다. 긴 턴을 번갈아 가는 대신, 모델은 200 ms "마이크로‑턴"으로 나뉜 연속 입력·출력 스트림을 처리합니다.

인터랙션 vs. 백그라운드 분리

시스템은 두 개의 구별되지만 협조하는 모델을 중심으로 설계되었습니다:

인터랙션 모델: 실시간, 멀티모달 모델로 사용자와 지속적인 양방향 교환을 유지합니다. 대화의 즉각적인 "존재감"을 담당합니다.
백그라운드 모델: 비동기 모델로 장기 추론, 복잡한 도구 사용, 장기 작업을 처리합니다.

작업에 더 깊은 추론이 필요하면 인터랙션 모델이 작업을 백그라운드 모델에 위임합니다. 결과는 스트림 형태로 다시 돌아와 자연스럽게 대화에 섞여 들어가며, 현재 AI 에이전트에서 흔히 보이는 급작스러운 컨텍스트 전환을 피합니다.

엔지니어링 최적화

이 규모(활성 파라미터 12 B, 전체 276 B MoE)에서 실시간 성능을 내기 위해서는 상당한 인프라 최적화가 필요합니다:

인코더‑프리 초기 융합: 모델은 대형 독립 인코더를 사용하지 않고, 오디오(dMel)와 이미지 패치(hMLP)를 위한 경량 임베딩 레이어를 트랜스포머와 공동 학습합니다.
스트리밍 세션: 빈번한 작은 프리필의 오버헤드를 피하기 위해 팀은 GPU 메모리 내 지속 시퀀스에 청크를 추가하는 스트리밍 세션을 구현했으며, 이 기능을 SGLang에 upstream했습니다.
배치 불변 커널: 학습 안정성과 디버깅을 위해 커스텀 통신 커널(NVLS)을 활용해 다양한 병렬 전략 간 비트 단위 정렬을 달성합니다.

인터랙티비티 벤치마크

전통적인 벤치마크는 실시간 협업의 미묘함을 포착하지 못합니다. Thinking Machines는 능동적 기능을 측정하기 위한 새로운 내부 벤치마크를 도입했습니다:

TimeSpeak: 사용자가 지정한 시간에 말을 시작하는 능력 테스트(예: "매 4초마다 숨 쉬라고 알려줘").
CueSpeak: 사용자가 아직 말하고 있는 중에도 특정 언어적 신호에 실시간으로 반응하는 능력 테스트.
Visual Proactivity: RepCount‑A와 ProactiveVideoQA 같은 벤치마크를 사용해 모델이 시각적 변화(예: 푸시업 카운트)에 오디오 프롬프트 없이 반응할 수 있는지 평가합니다.

그들의 데이터에 따르면 TML-Interaction-Small은 인터랙션 품질(FD‑bench)에서 기존 최전선 모델을 능가하면서도 일반 지능 벤치마크에서는 경쟁력을 유지합니다.

비판적 관점과 향후 방향

기술적 성취는 의미가 크지만, 커뮤니티는 이러한 시스템의 유용성과 UX에 대해 중요한 질문을 제기했습니다. 일부 관찰자는 데모는 인상적이지만 실제 사용 사례—예를 들어 "자동 자세 교정 감지기"—가 디스토피아적이거나 억지스럽게 느껴질 수 있다고 지적합니다.

"UX도 문제입니다—모델이 사용자를 방해하는 것이 충격적이며 흐름을 끊습니다. 인간은 이(드물게) '초대된 방해' 상황에서 메인 스피커 아래에서 말할 수 있는 능력이 있으며, 이는 일반적으로 많은 뉘앙스를 가지고 타이밍이 맞춰집니다."

또한 인터랙션 하네스를 모델 내부로 옮기는 유연성에 대한 논쟁도 있습니다. 외부 하네스는 빠른 반복과 UI 맞춤화를 용이하게 하지만, 네이티브 모델 접근법은 특정하고 진화하는 사용자 요구에 덜 유연할 수 있다는 의견이 있습니다.

이러한 비판에도 불구하고, 네이티브 인터랙션으로의 전환은 AI가 인간 워크플로에 통합되는 방식을 근본적으로 바꾸는 움직임입니다—프롬프트를 입력하는 도구에서 우리의 존재를 공유하는 협업자로 이동하는 것입니다.