Mistral Batch API 출시

Mistral AI는 대량의 데이터 요청을 처리하기 위한 보다 비용 효율적인 방법을 제공하기 위해 Batch API를 도입했습니다. 이 새로운 기능은 개발자가 표준 동기식 API 호출 비용의 50%로 대규모 데이터 세트를 처리할 수 있게 하여, 규모 확장이 중요한 애플리케이션에서 최첨단 AI를 더 저렴하게 사용할 수 있도록 합니다.

비용 절감 및 효율성

Batch API는 동기식 API 호출과 비교하여 운영 비용을 50% 절감합니다. 이는 응답의 즉각성보다 처리되는 데이터의 양이 더 중요한 AI 애플리케이션을 위해 설계되었습니다. 실시간 답변을 기다리는 대신, 사용자는 여러 요청이 포함된 배치 파일을 업로드하고, 처리가 완료되면 결과 출력 파일을 다운로드합니다.

지원되는 모델 및 제한 사항

Batch API는 현재 La Plateforme에서 제공되는 모든 모델에 대해 사용할 수 있습니다. Mistral AI는 또한 이 기능이 클라우드 제공업체 파트너들에게도 곧 제공될 것이라고 밝혔습니다. 현재 사용량은 워크스페이스당 진행 중인 요청 100만 개로 제한됩니다.

주요 사용 사례

Batch API는 비동기식, 대량 작업에 최적화되어 있습니다. 주요 애플리케이션은 다음과 같습니다:

• 데이터 분석: 대규모로 감성 분석을 수행하고 고객 피드백을 처리합니다.

• 콘텐츠 처리: 대량의 문서 요약 및 번역을 실행합니다.

• 검색 인프라: 검색 인덱스를 준비하기 위해 벡터 임베딩을 생성합니다.

• 데이터 관리: 대규모 데이터 레이블링.