Unsloth Qwen3.8-27B 및 2.4T Dynamic v3.1 업데이트

Dynamic v3.1 양자화 개선 사항

Unsloth는 Qwen3.8-27B GGUF를 위한 Dynamic v3.1 알고리즘을 도입했습니다. 이 알고리즘은 이전 버전에 비해 주요 벤치마크에서 평균 5-10%의 정확도 향상을 제공합니다. 이번 업데이트는 2비트에서 6비트까지 대부분의 양자화 수준을 포함합니다. v3.1 알고리즘은 에이전트 워크로드, 코딩 작업 및 일반적인 대화에 최적화되어 있으며, Unsloth는 Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6와 같은 평가 전반에서 이러한 개선 사항이 일관되게 나타난다고 보고했습니다.

벤치마킹 방법론

Unsloth는 엄격한 벤치마킹의 중요성을 강조하며, 비결정론적인 GPU 동작을 고려하기 위해 평가당 14회의 시행을 포함하는 테스트를 진행한다고 밝혔습니다. 이들은 다른 양자화 구현체에서 가끔 인용되는 단일 시행 벤치마크가 오해의 소지가 있을 수 있다고 주장합니다. 내부 분석에 따르면 일부 경쟁 방식은 100% 정확도 복구를 주장하지만, 동일한 모델에 대한 다중 시행 평균은 일반적으로 93%에서 96% 사이인 것으로 나타났습니다. Unsloth의 v3.1 양자화 모델은 동일한 컨텍스트 예산에서 이러한 대체 구현체들과 비교했을 때 평균적으로 더 우수한 성능을 보여줍니다.

Qwen3.8-27B 및 2.4T 배포

Qwen3.8-27B는 256K 컨텍스트 윈도우와 네이티브 비전 기능을 갖춘 밀집(dense) 모델입니다. 이 모델은 최소 17GB의 RAM/VRAM이 결합된 하드웨어에서 로컬로 실행되도록 설계되었습니다. 더 높은 성능을 요구하는 사용자를 위해 Unsloth는 27B 모델에 대한 NVFP4 양자화도 출시했습니다. 이는 BF16 체크포인트보다 약 1.5배 빠른 추론 속도를 달성하면서도 92-97%의 정확도 복구율을 유지합니다. 이러한 NVFP4 양자화 모델은 vLLM 및 SGLang과 호환되며 NVIDIA Blackwell 아키텍처에 최적화되어 있습니다.

극단적인 규모를 위해 Qwen3.8-2.4T-A95B 모델을 이제 1비트 GGUF 형식으로 사용할 수 있습니다. TQ2_0, TQ1_0, Q1_0과 같은 새로운 데이터 유형을 활용하여 Unsloth는 이 2.4T 파라미터 모델의 저장 공간을 91% 줄여 397GB로 낮췄습니다. 이를 통해 전체 정밀도 저장 장치 없이도 고용량 메모리를 갖춘 로컬 시스템에서 모델을 실행할 수 있습니다.

커뮤니티 인사이트 및 토론

커뮤니티 피드백은 이러한 업데이트가 로컬 AI 애호가들에게 실질적인 유용성을 제공함을 강조합니다. 사용자들은 M4 Mac mini 및 12GB VRAM 시스템과 같은 소비자용 하드웨어에서 이 모델들을 성공적으로 실행하고 있다고 보고합니다. Hacker News에서의 토론은 몇 가지 주요 영역을 다루었습니다:

  • 도구 호출 효율성: 일부 사용자는 Qwen3.8이 도구 호출에 매우 능숙하지만, 장황할 수 있어 높은 토큰 사용량으로 이어진다고 지적했습니다. ThinkingCap 프로젝트와 같이 토큰 효율적인 체크포인트를 향후 업데이트에 통합할지에 대해 커뮤니티의 관심이 높습니다.
  • 양자화 세분성: 서로 다른 모델 파라미터 전반에 걸친 양자화 최적화에 대한 일반적인 질문이 여전히 남아 있습니다. 사용자들은 모든 파라미터를 동일하게 양자화해야 하는지 의문을 제기하며, 성능 저하 없이 공간을 절약하기 위해 덜 중요한 파라미터는 더 압축할 수 있지 않을지 제안했습니다.
  • 벤치마킹 투명성: 커뮤니티는 KL-발산과 같은 프록시 지표에만 의존하는 대신 상세한 다중 시행 차트로 전환하는 것에 대해 감사를 표했으며, 이는 실제 모델 동작을 더 명확하게 보여줍니다.

사용 및 호환성

Unsloth Desktop과 llama.cpp는 여전히 이 모델들을 실행하는 주요 방법입니다. 통합 기능에는 "Preserve Thinking" 토글이 포함되어 있어 사용자가 모델의 추론 노력(xhigh, medium, low)을 제어하여 정확도와 속도 및 비용 간의 균형을 맞출 수 있습니다. llama.cpp를 사용하는 경우, 2.4T 모델의 새로운 1비트 데이터 유형을 지원하기 위해 특정 브랜치(예: iq1-narrow 브랜치)가 필요합니다.

Sources