OpenAI 엔터프라이즈 API 기능 업데이트 2024년 4월

OpenAI는 기업 고객을 위한 엔터프라이즈급 API 기능을 출시했습니다. 이 업데이트는 보안, 관리 감독, 비용 효율성을 개선하여 AI 배포를 확장하는 조직을 지원합니다. 주요 내용으로는 Azure와의 안전한 통신을 위한 Private Link, 새로운 Projects 관리 시스템, Assistants API의 대규모 확장, 그리고 커밋 및 비동기 워크로드에 대한 할인 가격이 포함됩니다.

강화된 엔터프라이즈 보안 및 컴플라이언스

OpenAI는 보안 스택을 확장하여 인터넷 노출을 최소화하고 기업 사용자를 위한 접근 제어를 개선했습니다.

  • Private Link: Azure와 OpenAI 간 직접 통신을 가능하게 하는 새로운 연결 옵션으로, 공개 인터넷 노출을 감소시킵니다.
  • Multi-Factor Authentication (MFA): 이제 네이티브 MFA가 제공되어 보다 엄격한 조직 접근 제어 요구 사항을 충족합니다.
  • Existing Security Framework: 이러한 추가 기능은 SOC 2 Type II 인증, 싱글 사인온(SSO), AES-256 정지 시 암호화, TLS 1.2 전송 중 암호화 등을 포함한 기존 인증 및 프로토콜을 보완합니다.
  • Healthcare Compliance: OpenAI는 HIPAA 준수를 위한 Business Associate Agreements(BAA)를 지속적으로 제공하며, 해당 API 사용 사례에 대해 데이터 보존을 하지 않는 정책을 적용합니다.

프로젝트를 통한 세분화된 관리 제어

새로운 "Projects" 기능을 통해 조직은 다양한 내부 이니셔티브에 대해 보다 정밀한 감독 및 리소스 할당을 구현할 수 있습니다.

  • Scoped Access: 관리자는 이제 역할과 API 키를 특정 프로젝트에 범위 지정할 수 있으며, 해당 프로젝트에 대해 특정 모델을 제한하거나 허용할 수 있습니다.
  • Resource Management: 프로젝트 수준의 사용량 및 비율 기반 제한을 설정하여 예기치 않은 예산 초과를 방지할 수 있습니다.
  • Service Accounts: 프로젝트 소유자는 서비스 계정 API 키를 생성할 수 있으며, 이를 통해 특정 개인 사용자 계정에 연결되지 않은 프로젝트 접근이 가능합니다.

Assistants API 기술 개선

Assistants API 업데이트는 데이터 검색 규모 확대, 응답 지연 시간 개선, 모델 동작에 대한 세밀한 제어 제공에 중점을 두었습니다.

검색 및 데이터 관리

  • file_search Scaling: 검색 도구가 이제 어시스턴트당 최대 10,000개의 파일을 지원하며, 이전 제한인 20개 대비 500배 증가했습니다. 이 도구는 병렬 쿼리를 위한 멀티스레드 검색과 향상된 재정렬 및 쿼리 재작성 기능을 제공합니다.
  • vector_store Objects: 새로운 벡터 스토어 객체는 파일의 파싱, 청크화, 임베딩을 자동화합니다. 이러한 스토어는 여러 어시스턴트와 스레드 간에 공유될 수 있어 청구 및 파일 관리를 간소화합니다.

실행 및 제어

  • Streaming Support: API가 이제 실시간 대화 응답을 위한 스트리밍을 지원합니다.
  • tool_choice Parameter: 개발자는 이제 특정 실행에 대해 특정 도구(예: code_interpreter, file_search 또는 특정 function)를 명시적으로 선택할 수 있습니다.
  • Fine-tuned Model Support: API가 이제 파인튜닝된 GPT-3.5 Turbo 모델을 지원하며, 특히 gpt-3.5-turbo-0125부터 지원합니다.

비용 제어

  • Token Limits: 사용자는 이제 실행당 최대 토큰 수를 설정하고, 각 실행에서 사용되는 이전 및 최신 메시지 수를 제한하여 비용을 관리할 수 있습니다.

엔터프라이즈 비용 관리 옵션

OpenAI는 대량 및 비긴급 워크로드의 비용을 절감하기 위해 두 가지 새로운 가격 모델을 도입했습니다.

  • Provisioned Throughput: GPT-4 또는 GPT-4 Turbo에서 지속적인 분당 토큰(TPM) 사용량을 보유한 고객은 프로비저닝된 처리량을 요청할 수 있으며, 약정 규모에 따라 10%에서 50%까지 할인됩니다.
  • Batch API: 비긴급 작업(예: 합성 데이터 생성, 오프라인 분류, 요약, 모델 평가)에는 Batch API를 통해 비동기 처리가 가능합니다. Batch API 요청은 공유 가격 대비 50% 할인된 가격으로 제공되며, 더 높은 비율 제한을 제공하고 결과를 24시간 이내에 반환합니다.

SUMMARY: OpenAI는 대규모 조직의 AI 솔루션 확장을 지원하기 위해 새로운 엔터프라이즈급 보안, 관리 제어, Assistants API 향상 및 비용 관리 옵션을 도입했습니다.

TITLE: OpenAI 엔터프라이즈 API 기능 업데이트 2024년 4월

Sources