Pixtral Large 릴리스 노트

Mistral AI는 최첨단 수준의 이미지 이해를 위해 설계된 124B 오픈 웨이트 멀티모달 모델인 Pixtral Large를 출시했습니다. Mistral Large 2를 기반으로 구축된 이 모델은 기본 모델의 기존 텍스트 전용 이해 능력을 저해하지 않으면서 문서, 차트 및 자연 이미지를 고성능으로 처리할 수 있습니다.

모델 아키텍처 및 사양

Pixtral Large는 시각적 데이터와 텍스트 데이터를 처리하기 위해 멀티모달 디코더와 비전 인코더를 활용합니다. 기술적 사양은 다음과 같습니다:

• Parameters: 123B 멀티모달 디코더와 1B 파라미터 비전 인코더가 결합되었습니다 (총 124B).
• Context Window: 128K 컨텍스트 윈도우를 지원하며, 최소 30장의 고해상도 이미지를 수용할 수 있습니다.
• Availability: 이 모델은 Mistral API의 pixtral-large-latest로, le Chat에서, 그리고 HuggingFace의 오픈 웨이트로 사용할 수 있습니다.
• Licensing: 연구 및 교육용으로는 Mistral Research License (MRL)로 배포되며, 프로덕션 및 상업적 실험을 위해서는 별도의 Mistral Commercial License가 적용됩니다.

성능 벤치마크

Pixtral Large는 여러 멀티모달 벤치마크에서 최첨단 성능을 보여주며, 오픈 웨이트 모델과 독점 모델 모두를 빈번하게 능가합니다.

수학적 및 문서 추론

시각적 데이터에 대한 복잡한 수학적 추론을 테스트하는 MathVista 벤치마크에서 Pixtral Large는 69.4%의 점수를 기록하며 테스트된 다른 모든 모델을 능가했습니다. ChartQA 및 DocVQA를 사용한 복잡한 차트 및 문서 평가에서, 이 모델은 GPT-4o 및 Gemini-1.5 Pro의 성능을 넘어섰습니다.

실세계 및 인간 선호도 평가

Pixtral Large는 실세계 멀티모달 LLM 사용 사례를 반영하도록 설계된 오픈 소스 판사 기반 평가인 MM-MT-Bench에서 Claude-3.5 Sonnet (new), Gemini-1.5 Pro, 및 GPT-4o (latest)를 능가했습니다. 또한, LMSys Vision Leaderboard에서 Pixtral Large는 가장 높은 순위를 기록한 오픈 웨이트 모델이며, 가장 가까운 경쟁 모델을 거의 50 ELO 포인트 차이로 앞서며 2024년 8월 버전의 GPT-4o와 같은 독점 모델을 능가했습니다.

시각적 이해 능력

Pixtral Large는 다음과 같은 다양한 시각적 형식에 걸친 복잡한 추론이 가능합니다:

• Multilingual OCR and Reasoning: 모델은 이미지(예: 다양한 언어의 영수증)에서 데이터를 추출하고 해당 데이터를 기반으로 수학적 계산을 수행할 수 있습니다.
• Chart Analysis: 모델은 기술 데이터에서 특정 트렌드와 이상 징후를 식별할 수 있습니다. 예를 들어, 손실 곡선 그래프에서 훈련 손실 불안정성이 시작되는 정확한 스텝 수를 식별하는 작업이 가능합니다.
• Visual Information Extraction: 모델은 웹사이트 스크린샷에서 엔티티(예: 회사 이름)를 정확하게 식별하고 목록을 만들 수 있습니다.

Mistral Large 24.11 업데이트

Pixtral Large 출시와 동시에, Mistral AI는 최첨단 텍스트 모델을 24.11 버전으로 업데이트했습니다. 이 업데이트는 24.07 버전 대비 다음과 같은 측면에서 상당한 개선을 제공합니다:

• Long context understanding
• Function calling accuracy
• System prompt handling

Mistral Large 24.11은 작업 자동화 및 의미론적 문서 이해를 포함한 엔터프라이즈 RAG 및 에이전트 워크플로우에 적합하도록 설계되었습니다. 이 모델은 API를 통해 pixtral-large-latest로 제공되며, HuggingFace에서 자체 배포가 가능합니다.