Mistral AI La Plateforme 출시

Mistral AI는 개발자에게 세 가지 생성형 채팅 엔드포인트와 한 가지 임베딩 모델에 대한 액세스를 제공하는 베타 API 서비스인 La Plateforme를 출시했습니다. 이번 출시는 프로덕션 환경을 위해 Mistral AI의 오픈 생성형 모델을 효율적으로 배착 및 커스터마이징할 수 있도록 합니다.

Generative Model Endpoints

Mistral AI는 텍스트 지침에 기반하여 텍스트를 생성하는 세 가지 채팅 엔드포인트를 제공하며, 각 엔드포인트는 성능과 비용 사이의 서로 다른 균형을 제공합니다:

Mistral-tiny

Mistral-tiny는 가장 비용 효율적인 엔드포인트입니다. 현재 Mistral 7B Instruct v0.2를 제공하며, 이는 Mistral 7B Instruct 모델의 마이너 릴리스입니다. 이 엔드포인트는 영어로 제한되며 MT-Bench에서 7.6점을 기록했습니다.

Mistral-small

Mistral-small은 Mixtral 8x7B 모델을 제공합니다. 이 모델은 영어, 프랑스어, 이탈리아어, 독일어, 스페인어 및 코드를 지원합니다. MT-Bench에서 8.3점을 기록했습니다.

Mistral-small

Mistral-medium은 가장 높은 품질의 엔드포인트로, 표준 벤치마크를 기준으로 상위권에 속하는 프로토타입 모델을 제공합니다. Mistral-small과 마찬가지로 영어, 프랑스어, 이탈리아어, 독일어, 스페인어 및 코드를 지원합니다. MT-Bench에서 8.6점을 기록했습니다.

Embedding Capabilities

Mistral AI는 검색 기능을 위해 특별히 설계된 임베딩 모델을 제공하는 Mistral-embed 엔드포인트를 도입했습니다. 이 모델은 1024 임베딩 차원을 특징으로 하며 MTEB에서 55.26의 검색 점수를 달성했습니다.

API Specifications and Integration

La Plateforme의 API는 개발자의 원활한 전환을 돕기 위해 인기 있는 채팅 인터페이스의 사양을 따릅니다. 통합을 지원하기 위해 Mistral AI는 Python과 Javascript client libraries를 제공합니다. API를 통해 시스템 프롬프트를 사용하여 특정 애플리케이션 요구 사항에 따라 모델 출력에 대해 더 높은 수준의 중재를 구현할 수 있습니다.

Technical Implementation and Alignment

La Plateforme에서 제공되는 모델은 Mistral AI의 베이스 모델에 지침(instruction)을 부여한 버전으로, 오픈 웹 데이터로 사전 학습된 후 주석(annotation)을 통한 지침 미세 조정(instruction fine-tuning)을 거칩니다. 정렬(alignment) 과정은 효율적인 미세 조정과 직접 선호도 최적화(DPO)를 결합하여 모델을 제어하기 쉽고 사용하기 즐거운 모델이 되도록 보장합니다.

Availability and Infrastructure

La Plateforme는 현재 베타 액세스 단계이며, 용량이 점진적으로 늘어남에 따라 모든 사용자에게 등록이 개방됩니다. Mistral AI는 TensorRT-LLM 및 Triton을 통합하는 데 도움을 준 NVIDIA를 언급하며, 특히 sparse mixture of experts (MoE)를 TRT-LLM과 호환되게 만든 것에 대해 감사를 표했습니다.