Mistral Large 4 (Le Chonk) 릴리스 노트

TL;DR

Mistral Large 4(일명 Le Chonk)는 1조 개의 파라미터를 가진 멀티모달 Mixture-of-Experts 모델로, 1M 토큰 컨텍스트 윈도우를 지원합니다. Hugging Face에서 FP8 및 NVFP4 형식으로 출시되었으며, 사이버 보안, 코딩 에이전트, 비전-언어 애플리케이션에서 강력한 성능을 제공합니다. Mistral Ecosystem Open-Weight License에 따라 오픈 웨이트로 공개되었습니다.

모델 개요

Mistral Large 4는 텍스트와 이미지를 입력받아 텍스트를 출력하는 멀티모달, 다국어 MoE 모델입니다. 총 1조 개의 파라미터로 구성되어 있으며, 토큰당 490억 개의 파라미터가 활성화됩니다. 이 모델은 100만 토큰 컨텍스트 윈도우를 지원하여 매우 긴 범위의 추론이 가능합니다.

두 가지 공식 체크포인트 형식이 제공됩니다:

  1. FP8 – 표준 8비트 부동 소수점 체크포인트 (mistralai/Mistral-Large-4-1T-A52B).
  2. NVFP4 – NVIDIA Blackwell GPU에 최적화된 변형 (mistralai/Mistral-Large-4-1T-A52B-NVFP4).

커뮤니티에서 생성한 GGUF 양자화 버전도 Unsloth 및 llama.cpp 팀을 통해 이용할 수 있습니다.

이 모델은 Mistral Ecosystem Open-Weight License에 따라 배포되며, 이는 모델을 서비스로 배포하는 것을 제한하는 MIT 기반 라이선스입니다.

주요 기술적 특징

희소 아키텍처(Sparse Architecture)

  • Mixture-of-Experts (MoE): 72개 레이어 디코더, MoE 레이어당 128개의 전문가, 토큰당 4개의 전문가와 1개의 공유 전문가를 선택하는 소프트맥스 라우터(총 5개 활성 전문가).
  • 희소 어텐션(Sparse Attention): Multi-head Latent Attention (MLA)과 DeepSeek Sparse Attention (DSA) 인덱서를 결합하여 쿼리당 최대 2,048개의 키 위치를 선택.
  • RoPE 변형: 주파수당 학습된 승수를 사용하는 YaRN 스케일 로터리 임베딩인 LeRope 사용.
  • 레이어 패턴: 3대 1 RoPE-to-NoPE 패턴(3개 레이어는 RoPE 사용, 4번째마다 NoPE 사용) 및 레이어 간 공유 KV 상태.

비전 인코더

  • Pixtral 인코더: 16억 파라미터, 30개 레이어, 히든 사이즈 2,048, 16개 어텐션 헤드.
  • 이미지를 14 × 14 패치로 처리하며 패치 병합 프로젝터(공간 병합 크기 2) 사용.

성능 하이라이트

사이버 보안

  • Artificial Analysis Cyber Index(재현 후 패치 작업)에서 82% 기록, 종종 작업을 거부하는 폐쇄형 소스 프론티어 모델을 능가함.
  • 악성 코드 분석, 취약점 우선순위 지정, 탐지 규칙 생성에서 강력한 내부 결과 도출.
  • 유해한 프롬프트(JailbreakBench, StrongREJECT, AgentHarm)에 대한 높은 거부율을 보여 견고한 안전성 행동을 입증.

코딩 및 에이전트 워크플로우

  • DeepSWE v1.1에서 61.7%, SWE-Atlas-QnA에서 59.4%, Terminal-Bench 4에서 28.3% 기록.
  • 통합 Coding Agent Index 점수 **49.8%**로 DeepSeek V4 Pro 0813 및 Qwen 3.8 Max를 능가.
  • 비즈니스 워크플로우 점수: AutomationBench에서 59.9%, AA-Briefcase에서 1,393 Elo 기록.

일반 멀티모달 벤치마크

  • Lakera의 B3 벤치마크에서 93.3% 공격 저항력 기록.
  • Artificial Analysis Intelligence 인덱스에서 오픈 웨이트 모델 중 5위 (2026년 10월 29일 기준).

추론 생태계

Transformers

  • AutoProcessor와 함께 AutoModelForMultimodalLM 사용.
  • 세 가지 추론 노력 수준(low, medium, high) 지원; 기본값은 high.
  • 텍스트 전용 및 이미지-텍스트 프롬프트에 대한 예제 스크립트 제공. torchrun -nproc-per-node 8을 통한 분산 실행.

vLLM

  • NVFP4 체크포인트는 NVIDIA Blackwell GPU에서 메모리 사용량을 줄여줌.
  • 추측적 디코딩을 위한 DSpark 드래프터 포함.
  • 전체 실행 명령어 및 간단한 curl 예제 포함.

llama.cpp

  • GGUF 양자화(Q2_K, IQ2_XXS, Q4_K_M, NVFP4, Q8_0, BF16).
  • 단일 Apple Silicon Ultra (M3 Ultra) 실행 시 Q2_K 기준 약 90 t/s 프리필 및 15 t/s 생성 속도 달성.
  • RTX6000 Pro 및 NVFP4 구성에 대한 멀티 GPU 성능 보고됨.

파인튜닝 지원

TRL(TensorFlow Reinforcement Learning) 및 PEFT를 통해 Day-0 파인튜닝 지원. 제공된 스크립트는 8 × B300s 노드에서 LoRA 어댑터(r=16, α=32)를 사용하여 Multilingual-Thinking 데이터셋으로 FP8 변형을 파인튜닝함.

배포 옵션

Hugging Face Inference Endpoints

  • 텐서 및 전문가 병렬 처리를 사용하는 vLLM 기반 8 × NVIDIA H200 GPU용 배포 레시피.
  • 최대 131K 토큰 컨텍스트, 16개 동시 요청 처리, 1K 토큰 프롬프트당 약 0.6초의 첫 토큰 생성 시간, DSpark 드래프트 사용 시 최대 138 t/s 생성 속도.
  • CLI 명령어: hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4.

Dell Enterprise Hub

  • dell-ai CLI를 통한 Dell AI 서버(예: NVIDIA B300)용 최적화 Docker 레시피.
  • 예제 배포 명령어 제공.

커뮤니티 리소스

  • Unsloth 및 llama.cpp의 GGUF 양자화 버전이 Hugging Face Hub에 호스팅됨.
  • 모델의 사이버 보안 기능에 대한 Pierre Stock과의 인터뷰가 YouTube에 공개됨.
  • 사용자는 파인튜닝된 모델, 양자화 버전 및 다운스트림 아티팩트를 Hub에 공유하도록 권장됨.

시사점

  • 오픈 웨이트 보안 도구: 연구원과 기업은 폐쇄형 API에 의존하지 않고 맞춤형 방어 보안 파이프라인을 구축하여 재현 가능한 취약점 분석 및 사고 대응이 가능함.
  • 확장 가능한 멀티모달 추론: 1M 토큰 컨텍스트와 희소 어텐션 설계는 긴 문서 요약, 코드베이스 분석 및 비전-언어 작업에 적합함.
  • 생태계 통합: Transformers, vLLM, llama.cpp 전반에 걸친 즉각적인 지원으로 연구 및 프로덕션 워크로드 도입 장벽을 낮춤.

시작하기 체크리스트

  1. Mistral Large 4 컬렉션에서 체크포인트(FP8 또는 NVFP4) 선택.
  2. 필요한 라이브러리(transformers, vllm, llama.cpp, trl, peft) 설치.
  3. 제공된 추론 스크립트를 실행하거나 vLLM 서버 시작.
  4. (선택 사항) 도메인 데이터로 TRL을 사용하여 파인튜닝.
  5. 프로덕션 워크로드를 위해 Hugging Face Inference Endpoints 또는 Dell Enterprise Hub를 통해 배포.

Le Chonk는 이제 실험 및 프로덕션 준비가 완료되었습니다. 오픈 웨이트 AI 생태계를 가속화하기 위해 결과물, 파인튜닝 모델 및 양자화 버전을 Hub에 공유해 주세요.

Sources