OpenAI 실시간 API 출시

OpenAI는 공개 베타 형태로 Realtime API를 도입하여, 유료 개발자들이 저지연·다중모달 음성‑음성 대화를 애플리케이션에 통합할 수 있게 했습니다. 이 API는 전사, 추론, 음성 합성을 위한 여러 모델을 별도로 연결할 필요 없이 단일 API 호출만으로 자연스러운 대화 경험을 제공합니다.

기술 아키텍처 및 워크플로우

Realtime API는 Whisper와 같은 자동 음성 인식(ASR) 모델, 텍스트 기반 LLM 추론, 텍스트‑음성 변환(TTS) 모델을 순차적으로 사용하는 전통적인 3단계 파이프라인을 직접 스트리밍 방식으로 대체합니다. 오디오 입력과 출력을 실시간으로 스트리밍함으로써 지연 시간을 크게 줄이고, 텍스트 전사 과정에서 흔히 손실되는 감정의 뉘앙스, 강조, 억양 등을 보존합니다.

주요 기술 특징:

  • Persistent WebSocket Connection: API는 WebSocket을 사용해 GPT-4o와 실시간으로 메시지를 교환합니다.
  • Automatic Interruption Handling: 시스템은 사용자의 중단을 자동으로 처리하며, ChatGPT의 Advanced Voice Mode와 동일한 동작을 구현합니다.
  • Function Calling: API는 함수 호출을 지원해 음성 비서가 주문을 넣거나 고객 데이터를 조회하는 등 외부 작업을 트리거하거나 실시간 컨텍스트를 가져올 수 있습니다.

모델 제공 및 API 옵션

OpenAI는 애플리케이션의 지연 시간 요구에 따라 두 가지 오디오 통합 경로를 제공합니다:

  1. Realtime API: gpt-4o-realtime-preview 모델 기반으로, 고속·자연스러운 대화를 위해 설계되었습니다.
  2. Chat Completions API: gpt-4o-audio-preview 모델 기반으로, 텍스트 또는 오디오 입력을 전달하고 텍스트, 오디오 또는 두 가지 형태의 응답을 받을 수 있습니다. 이는 Realtime API가 제공하는 극저지연 이점을 필요로 하지 않는 사용 사례에 적합합니다.

가격 및 토큰화

Realtime API와 Chat Completions 오디오 기능은 텍스트와 오디오 토큰을 기준으로 하는 통합 가격 구조를 사용합니다.

Input Type Price per 1M Tokens Estimated Cost per Minute
Text Input $5.00 N/A
Text Output $20.00 N/A
Audio Input $100.00 ~$0.06
Audio Output $200.00 ~$0.24

또한, 텍스트와 오디오 입력에 대해 캐시된 가격이 제공되어 각각 1M 캐시 텍스트 입력 토큰당 $2.50, 1M 캐시 오디오 입력 토큰당 $20 로 비용이 절감됩니다.

안전성, 프라이버시 및 규정 준수

Realtime API는 ChatGPT Advanced Voice Mode에서 사용되는 동일한 GPT-4o 버전을 기반으로 하며, 동일한 오디오 안전 인프라를 포함합니다. 안전 조치에는 다음이 포함됩니다:

  • Automated Monitoring: 플래그가 지정된 입력 및 출력을 지속적으로 모니터링하고 인간이 검토하여 악용을 방지합니다.
  • uma Preparedness Framework: OpenAI의 Preparedness Framework에 따라 평가가 수행되며, GPT-4o System Card에 상세히 기술되어 있습니다.
  • Red Teaming: 외부 레드팀 테스트 결과, API가 기존 완화 조치를 넘어서는 고위험 취약점을 도입하지 않음이 확인되었습니다.
  • Privacy Commitments: 엔터프라이즈 프라이버시 약속에 따라, 명시적인 허가 없이는 이 서비스의 입력·출력 데이터를 모델 학습에 사용하지 않습니다.

통합 및 생태계

배포를 용이하게 하기 위해 OpenAI는 여러 인프라 파트너와 협업했습니다:

  • LiveKit and Agora: 사운드 격리, 에코 캔슬레이션, 재연결 등 오디오 구성 요소를 위한 클라이언트 라이브러리를 제공했습니다.
  • Twilio: Twilio Voice API와 Realtime API를 통합해 AI 에이전트를 기존 전화 통화와 연결했습니다.

향후 로드맵

OpenAI는 Realtime API를 일반 제공으로 확대하면서 다음과 같은 기능을 추가할 계획입니다:

  • Additional Modalities: 향후 비전 및 비디오 지원.
  • Increased Rate Limits: 현재 Tier 5 한도인 100세션을 넘어선 동시 세션 제한 확대.
  • Official SDK Support: 공식 OpenAI Python 및 Node.js SDK에 통합.
  • Expanded Model Support: 향후 모델 버전에 GPT-4o mini 통합.

Sources