Pixtral 12B 릴리스 노트

Mistral AI는 이미지와 텍스트 데이터를 교차하여 처리할 수 있도록 설계된 본질적으로 다중모달 모델인 Pixtral 12B를 발표했습니다. Pixtral 12B는 Mistral Nemo 12B의 즉시 대체 가능한 대안으로, 텍스트 전용 벤치마크(코딩, 수학, 지시사항 따르기 등)에서도 높은 성능을 유지하면서 최첨단의 다중모달 추론 능력을 제공합니다.

기술 아키텍처

Pixtral 12B는 비전 인코더와 다중모달 트랜스포머 디코더로 구성된 두 가지 구성 요소 아키텍처를 사용합니다.

비전 인코더 및 가변 이미지 크기 지원

Pixtral은 처음부터 훈련된 4억 파라미터 비전 인코더를 특징으로 합니다. 주요 기술적 진보는 가변 이미지 크기와 종횡비에 대한 내재된 지원입니다. 이미지는 원본 해상도 그대로 인코더를 통과하며, 16x16 패치마다 이미지 토큰으로 변환됩니다. 공간 인식을 유지하기 위해 모델은 [IMG BREAK] 토큰을 행 간 구분에 사용하고, [IMG END] 토큰을 이미지의 끝을 표시합니다. 이는 고해상도의 복잡한 다이어그램과 차트를 효율적으로 처리할 수 있게 하며, 작은 이미지에 대해서도 빠른 추론을 유지합니다.

다중모달 디코더 및 컨텍스트 창

모델은 Mistral Nemo 기반의 120억 파라미터 다중모달 디코더를 사용합니다. 이 디코더는 이미지와 텍스트 데이터를 교차하여 훈련되어 다음 텍스트 토큰을 예측합니다. 이 아키텍처는 128K 토큰의 긴 컨텍스트 창 내에서 여러 이미지를 처리할 수 있습니다.

성능 및 벤치마크

Pixtral 12B는 기본 텍스트 모델의 텍스트 능력을 훼손하지 않으면서 최고 수준의 다중모달 추론을 제공하도록 설계되었습니다.

다중모달 추론

Pixtral은 MMMU 추론 벤치마크에서 52.5%의 점수를 기록하여 여러 더 큰 모델을 능가했습니다. 문서 질문 응답, 차트 및 그림 이해, 다중모달 추론 측면에서 강력한 능력을 보여줍니다.

지시사항 따르기

Pixtral은 다른 오픈소스 다중모달 모델과 비교해 지시사항 따르기 측면에서 큰 우위를 보입니다. Mistral AI는 가장 가까운 오픈소스(OSS) 모델보다 텍스트 IF-Eval과 MT-Bench에서 20%의 상대적 향상을 보고했습니다. 이러한 주장의 타당성을 검증하기 위해 Mistral AI는 MM-IF-Eval과 MM-MT-Bench라는 다중모달 벤치마크 버전을 개발했으며, Pixtral은 이 벤치마크에서도 오픈소스 대안들을 능가했습니다.

비교 평가

일관된 평가 환경과 프롬프트를 사용하여 Pixtral은 오픈 모델과 폐쇄 모델 모두와 비교되었습니다. 결과는 Pixtral이 유사 규모의 오픈 모델을 크게 능가하고, LLaVa OneVision 72B와 같은 훨씬 더 큰 모델과 비교해도 다중모달 벤치마크에서 성능이 동등하거나 뛰어남을 보여줍니다. 또한 여러 경우에서 Claude 3 Haiku와 같은 폐쇄 모델보다도 우수한 성능을 보였습니다.

기능 및 활용 사례

Pixtral 12B는 다양한 복잡한 시각 작업을 처리할 수 있습니다:

복잡한 도형 추론: 시각적 다이어그램에서 데이터를 추출하고 구조화합니다 (예: 차트에서 최고 GDP 국가 식별).
차트 분석: 학습 손실 곡선을 해석하고 데이터 추세에서 특정 실패 지점을 식별합니다.
다중 이미지 처리: 여러 이미지 기반 표에서 정보를 통합하여 하나의 구조화된 Markdown 표로 만듭니다.
이미지에서 코드 생성: 시각적 웹사이트 모크업을 기능적인 HTML 및 CSS 코드로 변환합니다.
자연 장면 이해: 자연 사진에서 광학 착시와 공간 관계를 해석합니다.

사용 가능 및 라이선스

Pixtral 12B는 Apache 2.0 라이선스 하에 공개됩니다. 다음을 통해 접근할 수 있습니다:

Le Chat: Mistral AI의 대화형 채팅 인터페이스.
La Plateforme: 애플리케이션에 통합하기 위한 API를 통해 이용 가능.
로컬 배포: mistral-inference 및 vLLM 라이브러리를 통해 지원되어 더 높은 서빙 처리량을 제공합니다.