OpenAI 새로운 임베딩 모델 및 API 업데이트 2024년 1월

OpenAI는 두 개의 새로운 임베딩 모델, GPT-4 Turbo와 GPT-3.5 Turbo의 업데이트된 버전, 그리고 비용을 절감하고 개발자를 위한 모델 성능을 향상시키는 새로운 API 관리 도구를 도입했습니다.

새로운 텍스트 임베딩 모델

OpenAI는 text-embedding-3-small와 text-embedding-3-large를 출시했으며, 두 모델 모두 이전 text-embedding-ada-002 모델에 비해 성능 향상을 제공합니다.

text-embedding-3-small

text-embedding-3-small는 높은 효율성을 위해 설계되었으며, 비용을 절감하면서 검색 성능을 크게 향상시킵니다.

  • Performance Gains: 다국어 검색을 위한 MIRACL 벤치마크에서 평균 점수가 31.4% (ada-002)에서 44.0%로 상승했습니다. 영어 작업을 위한 MTEB 벤치마크에서는 점수가 61.0%에서 62.3%로 증가했습니다.
  • Cost Reduction: 가격이 text-embedding-ada-002에 비해 5배 감소했으며, 1k 토큰당 $0.0001에서 $0.00002로 낮아졌습니다.

text-embedding-3-large

text-embedding-3-large는 OpenAI에서 제공하는 가장 높은 성능의 임베딩 모델이며, 최대 3072 차원을 지원합니다.

  • Performance Gains: MIRACL 벤치마크에서 평균 점수가 31.4% (ada-002)에서 54.9%로 상승했습니다. MTEB 벤치마크에서는 점수가 61.0%에서 64.6%로 증가했습니다.

네이티브 임베딩 단축

두 새로운 임베딩 모델 모두 dimensions API 매개변수를 지원하여 개발자가 시퀀스 끝의 숫자를 제거함으로써 핵심 개념을 나타내는 특성을 잃지 않으면서 임베딩을 단축할 수 있습니다. 이를 통해 성능과 컴퓨팅, 메모리, 스토리지 비용 사이의 균형을 맞출 수 있습니다.

예를 들어, text-embedding-3-large 임베딩을 256 차원으로 단축해도 MTEB 벤치마크에서 1536 차원의 단축되지 않은 text-embedding-ada-002 임베딩보다 여전히 우수합니다.

GPT 모델 업데이트 및 가격

OpenAI는 개발자를 위한 정확성을 향상하고 운영 비용을 절감하기 위해 주요 LLM 제품을 업데이트했습니다.

GPT-3.5 Turbo (gpt-3.5-turbo-0125)

2024년 초에 출시된 이 모델은 요청된 형식에 대한 높은 정확도와 비영어 언어 함수 호출에 영향을 주는 텍스트 인코딩 버그 수정이 포함되어 있습니다.

  • Price Reductions: 입력 가격이 50% 감소하여 1K 토큰당 $0.0005가 되었으며, 출력 가격은 25% 감소하여 1K 토큰당 $0.0015가 되었습니다.
  • Deployment: 고정되지 않은 gpt-3.5-turbo 별칭을 사용하는 사용자는 출시 후 2주 내에 gpt-3.5-turbo-0613에서 gpt-3.5-turbo-0125로 자동 업그레이드됩니다.

GPT-4 Turbo Preview (gpt-4-0125-preview)

업데이트된 GPT-4 Turbo 프리뷰는 코드 생성과 같은 작업에서 보다 철저하도록 설계되었으며, 모델이 작업을 완료하지 못하는 "게으름" 사례를 줄입니다. 또한 비영어 UTF-8 생성 버그 수정이 포함되어 있습니다.

OpenAI는 최신 GPT-4 Turbo 프리뷰 모델을 항상 가리키는 gpt-4-turbo-preview 별칭을 도입했습니다. 비전 기능이 포함된 GPT-4 Turbo의 일반 제공은 향후 몇 달 내에 예상됩니다.

안전 및 플랫폼 개선

업데이트된 모더레이션 모델

OpenAI는 현재까지 가장 강력한 모더레이션 모델인 text-moderation-007을 출시했습니다. text-moderation-latest와 text-moderation-stable 별칭은 이제 이 버전을 가리킵니다.

API 키 및 사용량 관리

두 가지 새로운 플랫폼 기능이 개발자에게 보다 세분화된 제어와 가시성을 제공합니다:

  • API Key Permissions: 개발자는 이제 API 키에 읽기 전용 접근이나 특정 엔드포인트에 대한 제한과 같은 특정 권한을 할당할 수 있습니다.
  • Key-Level Usage Metrics: 추적을 활성화한 후, 사용량 대시보드와 내보내기 기능은 이제 API 키 수준의 메트릭을 제공하여 개발자가 기능, 팀, 제품 또는 프로젝트별 사용량을 추적할 수 있습니다.

Sources