OpenAI, ChatGPT 및 Whisper API 소개

OpenAI는 GPT-3.5 Turbo와 Whisper API를 출시하여 개발자에게 고급 언어 및 음성-텍스트 모델에 대한 접근을 제공했습니다. 이번 출시에서는 12월 이후 ChatGPT 모델군의 비용이 90% 감소했으며, 이 혜택이 API 사용자에게도 적용됩니다.

GPT-3.5 Turbo API 기능 및 가격

gpt-3.5-turbo 모델은 ChatGPT 제품에 사용되는 동일한 모델이며 채팅 및 비채팅 사용 사례 모두에 설계되었습니다. 초기 테스트 사용자들은 text-davinci-003에서 gpt-3.5-turbo로 최소한의 프롬프트 조정만으로 성공적으로 마이그레이션했습니다.

• Pricing: 모델 가격은 1k 토큰당 $0.002이며, 이전 GPT-3.5 모델보다 10배 저렴합니다.
• Input Format: 기존 GPT 모델이 비구조화 텍스트를 처리하는 것과 달리, ChatGPT 모델은 메타데이터가 포함된 메시지 시퀀스를 사용하며 내부적으로 Chat Markup Language (ChatML)로 렌더링됩니다.
• Model Versioning: 개발자는 권장되는 안정적인 모델을 위해 gpt-3.5-turbo 엔드포인트를 사용하거나 gpt-3.5-turbo-0301과 같은 특정 버전을 선택할 수 있습니다.

Whisper API 음성-텍스트 변환

OpenAI는 오픈소스 Whisper 모델의 large-v2 버전을 API를 통해 제공했습니다. 이를 통해 고도로 최적화된 서빙 스택으로 빠른 성능을 제공하면서 음성-텍스트 작업에 인간 수준의 정확도를 온디맨드로 이용할 수 있습니다.

• Pricing: 서비스 가격은 분당 $0.006입니다.
• Endpoints: API는 transcriptions(원본 언어 전사)와 translations(영어 전사)를 제공합니다.
• Supported Formats: API는 m4a, mp3, mp4, mpeg, mpga, wav, webm 형식을 지원합니다.

대용량 사용자 전용 인스턴스

시스템 성능 및 모델 버전에 대한 보다 깊은 제어가 필요한 개발자를 위해 OpenAI는 이제 Azure를 통해 전용 인스턴스를 제공합니다. 이를 통해 사용자는 요청당 비용을 지불하는 대신 예약된 컴퓨팅 인프라에 대해 기간별로 비용을 지불할 수 있습니다.

전용 인스턴스는 하루에 4억 5천만 토큰 이상을 처리하는 개발자에게 경제적으로 타당합니다. 주요 이점은 다음과 같습니다:

• 인스턴스 부하에 대한 완전한 제어를 통해 처리량과 요청 속도를 균형 있게 조정할 수 있습니다.
• 특정 모델 스냅샷을 고정할 수 있습니다.
• 더 긴 컨텍스트 제한과 같은 기능을 활성화할 옵션을 제공합니다.

개발자 중심 정책 업데이트

OpenAI는 개발자 피드백을 바탕으로 API 서비스 약관 및 데이터 처리 정책을 업데이트했습니다:

• Data Privacy: API를 통해 제출된 데이터는 조직이 명시적으로 동의하지 않는 한 모델 학습이나 서비스 개선에 사용되지 않습니다.
• Data Retention: 기본 30일 데이터 보존 정책이 적용되며, 더 엄격한 보존 옵션도 제공됩니다.
• Ownership: 사용자는 이제 모델의 입력 및 출력에 대한 소유권을 가집니다.
• Access: 사전 출시 검토 절차가 제거되어 개발자 온보딩이 간소화되었습니다.

산업 적용 사례

여러 기업이 이러한 API를 제품에 통합하여 사용자 경험을 향상시켰습니다:

• Snap Inc: gpt-3.5-turbo를 통합하여 Snapchat+의 "My AI"를 구동합니다.
• Quizlet: gpt-3.5-turbo API를 사용한 적응형 AI 튜터 "Q-Chat"을 개발했습니다.
• Instacart: API를 활용해 "Ask Instacart"를 구현, 고객이 음식 및 쇼핑 아이디어를 검색할 수 있게 합니다.
• Shop (Shopify): 개인화된 제품 추천을 제공하는 쇼핑 어시스턴트를 구현하고 있습니다.
• Speak: Whisper API를 활용해 언어 학습자를 위한 AI 말하기 동반자를 제공합니다.