Skyrim을 위한 저지연 AI 게임 동반자 구축하기

개발자 pantelisk는 Skyrim에서 사용자와 함께 플레이하도록 설계된 지능형 게임 동반자인 Varkos를 개발했습니다. 대화에 주로 집중하는 전통적인 AI NPC 프레임워크와 달리, Varkos는 높은 월드 에이전시(world agency)와 저지연성을 위해 구축되어, 자연어 명령을 기반으로 게임 월드 내에서 복잡하고 다단계적인 물리적 행동을 수행할 수 있습니다.

저지연 아키텍처 및 성능

클라우드 기반 LLM 구현에서 흔히 발생하는 몰입을 방해하는 지연 시간을 피하기 위해, Varkos는 하이브리드 로컬 추론 스택을 활용합니다. 이 시스템은 플레이어의 음성이 시작되자마자 처리를 시작하도록 설계되어, 최적의 경우 총 응답 시간을 500ms 미만으로 유지하는 것을 목표로 합니다.

기술 스택

Audio Processing: 시스템은 커스텀 커널을 사용하는 최적화된 Qwen3-ASR 1.7b 모델을 사용합니다. 커스텀 하네스가 스트리밍 음성-텍스트 변환을 지원하기 위해 오디오를 롤링 파셜(40-80ms) 단위로 처리합니다.
Voice Activity Detection (VAD): Turnpipe와 Silero의 최적화된 버전을 사용하여 플레이어가 말을 마쳤는지 또는 AI를 방해하는지 판단합니다.
Audio Generation: Varkos는 빠른 생성을 위해 PocketTTS-Raven을 사용하고(20-30ms), 응답의 복잡성에 따라 더 높은 감정 제어를 위해 Qwen-3-TTS를 사용합니다.
Hardware: 게임은 Windows에서 실행되지만, "brain"과 오디오 처리는 M4 MacBook에서 실행됩니다(단, 저자는 약 12GB의 전용 GPU RAM이 있는 Windows 환경에서도 완전히 실행될 수 있다고 언급했습니다).

지연 시간 예산 분석

Component	Latency
Voice to Text	40-80ms
Action Analysis	20ms
Response Generation & Grounding	300-600ms
Audio Generation	20-60ms

Action Latent Encoder (ALE)를 통한 월드 에이전시

Varkos의 핵심 차별점은 임베딩, 소형 분류기, 명시적 규칙, 그리고 전통적인 머신러닝을 결합한 하이브리드 시스템인 Action Latent Encoder (ALE)입니다. ALE를 통해 Varkos는 모든 결정을 내릴 때 대형 LLM에만 의존하지 않고도 자연어를 근거 있는 게임 행동으로 변환할 수 있습니다.

주요 기능

Complex Command Decomposition: Varkos는 다단계 명령을 처리할 수 있습니다. 예를 들어, "wait here, then bring a potion after an arrow signal"라는 명령은 미래의 트리거를 등록하고 특정 이벤트에 대한 게임 상태를 모니터링하는 과정을 포함합니다.
Grounded Item Search: 아이템을 환각(hallucination)하는 대신, Varkos는 실제 게임 월드의 JSON 상태를 검색하여 특정 객체를 식별하고 회수합니다.
Persistent Goals: "hide-and-seek"와 같은 활동은 단일 API 호출이 아닌, 이동 및 완료 조건을 가진 지속적인 계획으로 취급됩니다.
Phrasing Invariance: ALE는 표현의 불변성을 갖도록 설계되었습니다. 사용자가 "grab the sword"라고 하든 "fetch the damn sword"라고 하든, 시스템은 요청을 동일한 행동 프로토타입으로 매핑합니다.

성격 진화 및 "Void Mode"

실시간 행동은 로컬에서 처리되지만, Varkos는 느린 호흡의 성격 진화(personality evolution)를 위해 클라우드 LLM 호출을 사용합니다. 이 과정은 비동기적으로 발생하며, 공유된 경험을 바탕으로 동반자의 특성 및 감정적 항상성을 업데이트합니다.

동적 캐릭터 성장

Varkos는 개로 환생한 냉소적이고 자부심 강한 악마로 시작합니다. 시간이 지남에 따라, 공유된 경험을 통해 그가 더 길들여지고 애정 어린 성격으로 변약할 수 있으며, 플레이어의 대리에 따른 그의 어휘와 행동이 변화합니다.

Cross-Game Persistence (Void Mode)

Varkos는 Skyrim 외부에서도 독립적인 엔티티로 존재합니다. 게임이 종료되면 그는 "Void Mode"에 진입하며, 이 모드에서는 여전히 음성을 통해 소통할 수 있습니다.

이 아키텍처를 통해 동반자는 플레이어가 다른 게임으로 전환할 때 새로운 환경과 규칙에 적응하며 잠재적으로 플레이어를 따라다닐 수 있습니다.

커뮤니티 인사이트 및 기술적 논의

Hacker News의 커뮤니티 멤버들은 "사랑스러운 조력자" 페르소나의 정서적 공명에 것을 강조하며, AI의 가끔씩 발생하는 실패가 캐릭터의 성격에 자연스럽게 느껴진다고 언급했습니다.

"What's great is that the LLMisms fold neatly into 'dumb but lovable sidekick.' So even when it chokes or stumbles on a command, the kind of frustration the user expresses when correcting it feels natural and part of the game even."

다른 기술적 논의는 이 접근 방식이 전용 AI 하드웨어를 통해 콘솔 게임에 통합될 수 있는 가능성이나, 말하면서 동시에 도구를 비동기적으로 실행할 수 있는 미래의 "Live" 멀티모달 모델로 ALE를 대체할 수 있는 가능성에 초점을 맞추었습니다.