Unsloth Qwen3.8-27B および 2.4T Dynamic v3.1 アップデート

Dynamic v3.1 量子化の改善

Unsloth は、Qwen3.8-27B GGUF 向けに Dynamic v3.1 アルゴリズムを導入しました。これにより、以前のバージョンと比較して主要なベンチマーク全体で平均精度が 5〜10% 向上します。このアップデートは、2-bit から 6-bit までのほとんどの量子化レベルをカバーしています。v3.1 アルゴリズムは、エージェントワークロード、コーディングタスク、および一般的なチャット向けに特別に最適化されており、Unsloth はこれらの改善が Terminal Bench 2.1、DeepSWE v1.1、LiveCodeBench v6 などの評価全体で一貫していると報告しています。

ベンチマーク手法

Unsloth は厳密なベンチマークの重要性を強調しており、GPU の非決定論的な動作を考慮して、評価ごとに 14 回の試行を行っていると述べています。彼らは、他の量子化実装によって時折引用されるような単一試行のベンチマークは誤解を招く可能性があると主張しています。彼らの内部分析によると、競合する手法の中には 100% の精度回復を主張するものもありますが、それらのモデルの複数試行の平均は通常 93% から 96% の間に収まります。Unsloth の v3.1 量子化モデルは、同等のコンテキスト予算において、これらの代替実装と比較して平均的に優れたパフォーマンスを示しています。

Qwen3.8-27B および 2.4T のデプロイメント

Qwen3.8-27B は、256K のコンテキストウィンドウとネイティブな視覚機能を備えた高密度モデルです。合計 17GB の RAM/VRAM という最小限のハードウェアでローカル実行できるように設計されています。より高いパフォーマンスを必要とするユーザー向けに、Unsloth は 27B モデル用の NVFP4 量子化もリリースしました。これは、BF16 チェックポイントと比較して約 1.5 倍高速な推論速度を実現しつつ、92〜97% の精度回復を維持します。これらの NVFP4 量子化は vLLM および SGLang と互換性があり、NVIDIA Blackwell アーキテクチャ向けに最適化されています。

極端なスケール向けには、Qwen3.8-2.4T-A95B モデルが 1-bit GGUF 形式で利用可能になりました。TQ2_0、TQ1_0、Q1_0 などの新しいデータ型を利用することで、Unsloth はこの 2.4T パラメータモデルのストレージフットプリントを 91% 削減し、397GB まで軽量化しました。これにより、フル精度のストレージを必要とせずに、大容量メモリを搭載したローカルシステムでモデルを実行できるようになります。

コミュニティの洞察と議論

コミュニティからのフィードバックでは、これらのアップデートがローカル AI 愛好家にとって実用的な有用性を持つことが強調されています。ユーザーは、M4 Mac mini や 12GB VRAM を搭載したシステムなどのコンシューマー向けハードウェアでこれらのモデルを実行することに成功したと報告しています。Hacker News での議論では、いくつかの重要な領域が取り上げられました。

  • ツール呼び出しの効率性: 一部のユーザーは、Qwen3.8 はツール呼び出しにおいて非常に有能であるものの、冗長になりやすく、トークン消費量が高くなる可能性があると指摘しました。ThinkingCap プロジェクトのような、よりトークン効率の高いチェックポイントを将来のアップデートで組み込むかどうかについて、コミュニティの関心が高まっています。
  • 量子化の粒度: さまざまなモデルパラメータ全体での量子化の最適化に関して、共通の疑問が残っています。ユーザーは、すべてのパラメータを均等に量子化すべきかどうかを疑問視しており、パフォーマンスを犠牲にすることなくスペースを節約するために、重要度の低いパラメータはさらに圧縮できる可能性があると示唆しています。
  • ベンチマークの透明性: コミュニティは、KL ダイバージェンスのようなプロキシ指標だけに頼るのではなく、詳細な複数試行のチャートへと移行したことを評価しており、これにより現実世界のモデルの動作をより明確に把握できるようになりました。

使用方法と互換性

Unsloth Desktop と llama.cpp が、これらのモデルを実行するための主要な方法であり続けています。統合には「Preserve Thinking」トグルが含まれており、ユーザーはモデルの推論の努力(xhigh、medium、low)を制御して、精度と速度・コストのバランスを取ることができます。llama.cpp を使用する場合、2.4T モデルの新しい 1-bit データ型をサポートするために、特定のブランチ(iq1-narrow ブランチなど)が必要です。

Sources