xAI Grok Voice Agent API 출시

xAI는 개발자가 실시간 데이터 검색, 도구 호출 및 다국어 통신이 가능한 음성 에이전트를 구축할 수 있도록 하는 Grok Voice Agent API를 출시했습니다. 이 API는 Tesla 차량 및 xAI 모바일 애플리케이션에 사용되는 것과 동일한 기술 스택을 기반으로 구축되었습니다.

고성능 오디오 추론 및 지연 시간

The Grok Voice Agent API는 속도와 지능을 위해 설계되었으며, Big Bench Audio 오디오 추론 벤치마크에서 1위를 차지했습니다. 평균 첫 오디오 도달 시간(time-to-first-audio)은 1초 미만으로, xAI는 이것이 가장 가까운 경쟁사보다 거의 5배 더 빠르다고 밝혔습니다.

이러한 성능은 완전히 자체 개발한 음성 스택을 통해 달성되었습니다. xAI는 시스템의 지능과 속도에 대한 미세한 제어를 유지하기 위해 자체적인 음성 활동 감지(VAD), 토크나이저(tokenizer), 오디오 모델을 처음부터 직접 학습시켰습니다.

비용 효율성 및 가격 모델

The Grok Voice Agent API는 오디오 재생 시간 분당 $0.05의 정액제 가격 모델을 사용합니다. xAI는 이를 OpenAI Realtime API와 같은 토큰 기반 가격 모델과 대조하며, xAI의 추정치에 따르면 이러한 모델은 실제 운영 환경에서 일반적으로 분당 $0.10를 초과합니다.

다국어 능력 및 인간 평가

Grok Voice Agents는 수십 개의 언어에 대해 원어민 수준의 능력을 갖추고 있으며, 사용자의 언어를 자동으로 감지하거나 대화 도중 언어를 전환할 수 있습니다. 개발자는 또한 시스템 프롬프트를 통해 특정 응답 언어를 강제할 수 있습니다.

OpenAI Realtime API와의 블라인드 헤드 투 헤드 인간 평가에서, Grok은 발음, 억양 및 운율(prosody) 측면에서 일관되게 선호되는 모델로 평가받았습니다.

Tesla와의 통합 및 실시간 도구 사용

Tesla는 이 API의 중요한 디자인 파트너 역할을 했습니다. Tesla 차량에서 Grok은 X 검색 데이터를 경로 계산과 결합하여 차량 상태에 액세스하고, 내비게이션을 제어하며, 경로를 계획하는 특화된 도구와 통합됩니다.

API를 사용하는 개발자는 자신만의 맞춤형 도구를 통합하거나, 웹과 X 전반에 걸친 xAI의 실시간 검색 기능을 활용하여 에이전트가 작업을 수행하고 최신 정보를 검색할 수 있도록 할 수 있습니다.

표현력이 풍부한 음성 옵션 및 청각적 신호

API는 Ara, Eve, Leo를 포함한 여러 표현력이 풍부한 음성 옵션을 제공합니다. 이러한 음성들은 자연스러운 대화와 법률, 금융, 의료 분야의 전문 용어의 정확한 발음에 최하도록 설계되었습니다.

현실감을 높이기 위해, 모델은 개발자가 프롬프트로 지정할 수 있는 [whisper], [sigh], [laugh]와 같은 청각적 신호(auditory cues)를 지원합니다.

개발자 구현 및 로드맵

The Grok Voice Agent API는 OpenAI Realtime API 사양과 호환되며, 공식 xAI LiveKit Plugin을 통해 사용할 수 있습니다. 브라우저 기반 테스트를 위한 음성 플레이그라운드가 xAI Cloud Console에서 제공됩니다.

향후 몇 주 내에 예정된 출시 계획은 다음과 같습니다:

독립형 텍스트 음성 변환(TTS) 및 음성 텍스트 변환(STT) 엔드포인트.
발음 및 지연 시간을 더욱 개선한 오디오 모델.