Qwen2.5 릴리스 노트: 새로운 기반, 코더 및 수학 모델

Qwen2.5 일반 언어 모델

Qwen2.5는 0.5B, 1.5B, 3B, 7B, 14B, 32B, 72B 크기의 다양한 밀집 디코더 전용 모델을 도입합니다. 이 모델들은 최대 18조 토큰에 달하는 대규모 데이터셋으로 사전 학습되어 Qwen2에 비해 지식이 크게 향상되고 능력이 개선되었습니다.

핵심 기술 역량

  • Knowledge and Reasoning: 모델은 일반 지식 (MMLU: 85+), 코딩 (HumanEval 85+), 수학 (MATH 80+)에서 향상된 성능을 보입니다.
  • Context and Generation: Qwen2.5는 최대 128K 토큰의 컨텍스트 윈도우를 지원하며 최대 8K 토큰을 생성할 수 있습니다.
  • Structured Data: 표와 같은 구조화된 데이터를 이해하고, 특히 JSON 형식으로 구조화된 출력을 생성하는 데 큰 개선이 이루어졌습니다.
  • Instruction Following: 모델은 다양한 시스템 프롬프트에 더 강인해져 역할 수행 및 챗봇 조건 설정에 대한 활용도가 향상되었습니다.
  • Multilingual Support: 모델은 영어, 중국어, 프랑스어, 스페인어, 포르투갈어, 독일어, 이탈리아어, 러시아어, 일본어, 한국어, 베트남어, 태국어, 아랍어 등 29개 이상의 언어를 지원합니다.

성능 벤치마크

  • Qwen2.5-72B: 이 대표적인 오픈소스 모델은 Llama-3.1-70B 및 Mistral-Large-V2와 경쟁합니다. Qwen2.5-72B의 기본 모델은 Llama-3-405B와 같은 더 큰 모델에 대해서도 최상위 성능에 도달하는 것으로 보고되었습니다.
  • Mid-Sized Models (14B and 32B): Qwen2.5-14B와 Qwen2.5-32B는 크기와 능력 사이의 균형을 제공하도록 재도입되었으며, Phi-3.5-MoE-Instruct 및 Gemma2-27B-IT와 같은 베이스라인 모델보다 뛰어납니다.
  • Small Language Models (SLMs): Qwen2.5-3B는 높은 지식 밀도를 보여주며, 파라미터 수가 작음에도 불구하고 (MMLU 점수 65 이상) 경쟁력 있는 결과를 달성합니다.
  • API-based Models: Qwen-Plus는 Llama-3.1-405B와 경쟁하며 DeepSeek-V2.5를 크게 앞서지만, 일부 영역에서는 여전히 GPT-4o와 Claude-3.5-Sonnet에 뒤처집니다. Qwen-Turbo는 비용 효율적이고 빠른 서비스를 제공합니다.

전문 특화 모델

Qwen은 고성능 기술 작업을 위해 설계된 두 가지 특화 모델군을 출시했습니다.

Qwen2.5-Coder

디버깅, 코드 제안 및 프로그래밍 질문에 답변하도록 설계된 Qwen2.5-Coder는 코드 관련 데이터 5.5조 토큰으로 학습되었습니다. 1.5B, 7B, 32B(예정) 크기로 제공됩니다. 7B-Instruct 버전은 다양한 프로그래밍 언어에서 많은 대형 언어 모델보다 뛰어난 성능을 보이는 것으로 알려졌습니다.

Qwen2.5-Math

1.5B, 7B, 72B 크기로 제공되는 Qwen2.5-Math는 Qwen2-Math가 생성한 합성 데이터를 포함한 더 큰 규모의 수학 관련 데이터로 사전 학습되었습니다. 중국어와 영어를 모두 지원하며 다음과 같은 추론 방법을 활용합니다:

  • Chain-of-Thought (CoT)
  • Program-of-Thought (PoT)
  • Tool-Integrated Reasoning (TIR)

Qwen2.5-Math-72B-Instruct 모델은 일반 성능에서 Qwen2-Math-72B-Instruct와 GPT-4o를 모두 능가하는 것으로 보고되었습니다.

배포 및 도구 통합

Qwen2.5 모델은 배포 및 추론을 위한 주요 산업 프레임워크와 호환됩니다:

  • Hugging Face: Transformers 라이브러리를 통해 지원됩니다.
  • vLLM: Nous Hermes에서 영감을 받은 템플릿을 사용하여 OpenAI API 호환 서비스와 내장 도구 호출을 지원합니다 (vLLM >= 0.6 필요).
  • Ollama: OpenAI 호환 서비스를 통해 도구 호출을 지원합니다.
  • Tool Calling Templates: 채팅 템플릿은 Hugging Face transformers에 대한 도구 호출 지원을 포함하며, Qwen2 템플릿 및 Qwen-Agent와의 하위 호환성을 유지합니다.

라이선스 및 가용성

3B와 72B 변형을 제외한 Qwen2.5 릴리스의 모든 오픈소스 모델은 Apache 2.0 라이선스로 제공됩니다.

Sources