Qwen3.8 27B 量子化ベンチマーク：4ビットはBF16と同等、1ビットは失敗

まとめ

Qwen3.8 27Bを4ビット（Q4_K_M、17 GB）に量子化すると、BF16モデルとほぼ同等のベンチマークスコアを達成し、24 GB GPUに余裕で収まる。4ビット未満の量子化では性能が低下し、1ビット（UD-IQ1_S、6.2 GB）はGPQA Diamondでランダム推測レベルにまで低下し、コーディングタスクでは失敗する。

4ビット量子化は耐えうる

結論： 4ビットのQ4_K_M量子化（17 GB）は、GPQA Diamond、IFBench、Terminal-Bench 2.1でBF16と同等のスコアを達成し、コンシューマーGPUにとって最適な選択肢となる。

フルBF16モデルは約55 GBのVRAMを必要とし、ほとんどのデスクトップGPUでは超える。
Q4_K_MはRTX 4090（24 GB）で動作可能であり、約64kトークンのKVキャッシュを残すことができる。
GPQA Diamondでは、BF16、8ビット、4ビット、さらには2ビットのスコアは統計的に区別できない（ウィルソン95％信頼区間が重複）。唯一、2ビットのUD-Q2_K_XLのみがわずかな低下を示す。
IFBenchでは、BF16と2ビットモデルの間に測定可能な差異なし。ただし、コンテキスト窓は約4kトークンまで制限される。
Terminal-Bench 2.1（89のエージェント型コーディングタスク、3時間タイムアウト、xhigh努力レベル、98kコンテキスト）では、BF16とQ4_K_Mの成功確率が同一。2ビットモデルはわずかに低下するが、中程度の商用エージェント（例：Opus 4.7、Gemini 3.1 Pro）と同等の水準を維持する。

「17 GBのQ4_K_Mは、人気のあるエージェント型コーディングベンチマーク、Terminal-Bench 2.1でフルモデルと同等の性能を発揮する。RTX 4090のような24 GBカードに収まり、約64kトークンのコンテキストを残す余裕がある。」 – Quesmaブログ

なぜ4ビットが有効なのか

量子化手法Q4_K_M（Unsloth v2）は、単純な4ビット方式よりも重み分布をより良く保持する。
著者は固定のF16KVキャッシュ（32kトークンあたり約2.3 GB）を使用したため、メモリ節約は重みの圧縮によるもののみ。
より高い推論努力（xhigh）が、量子化によるわずかな確率のずれを補う。コメント欄でも指摘されている通り。

2ビット量子化は使用可能だが弱い

結論： 2ビットのUD-Q2_K_XL（10.7 GB）はほとんどのベンチマークで機能するが、わずかな性能低下を伴う。

GPQA Diamondのスコアは4ビットと比べてわずかに低下。
IFBenchでは依然として有意な低下は見られず、多くの指示追従タスクが2ビットノイズに耐性があることを示唆する。
Terminal-Bench 2.1では成功確率が数ポイント低下するが、古い商用エージェントの範囲内に留まる。
トークン使用量が増加：解決されたタスクにおいて、2ビットモデルはBF16と比べて約25％多くトークンを出力するが、推論ターン数はほぼ一定を保つ。

1ビット量子化は崩壊する

結論： 1ビットのUD-IQ1_S（6.2 GB）は劇的に失敗し、GPQA Diamondではランダム推測レベルにまで低下し、コーディングベンチマークでも劣る性能を示す。

スコアはランダム推測の基準を下回り、特に高い推論努力（xhigh）では、長時間生成により空の回答に陥る。
著者の測定結果は、Unslothの「72％トップ1精度」という主張と矛盾する。欠落している28％はタスク成功にとって極めて重要。
コミュニティの報告（例：r/LocalLLaMA）も同様の失敗モードを示しており、「脳損傷量子化」と表現している。

「2ビット量子化はある程度機能するが、最良の1ビットモデルでもこれらのベンチマークでは無意味である。」 – Quesmaブログ

技術的洞察

事前学習済みの密行列モデルに対する1ビット量子化は根本的に不安定。大規模データでの量子化対応学習（QAT）なしでは、重み表現が崩壊する。
あるコメント者が指摘するように、「既存の事前学習済みモデルに対する量子化は、1ビットではほぼ必ず崩壊する。」（HNコメント）

ベンチマーク手法

結論： 著者は量子化テストの前に公式BF16スコアを再現し、信頼できるベースラインを確保した。

使用したベンチマーク：GPQA Diamond（大学レベルの科学QA）、IFBench（指示追従）、Terminal-Bench 2.1（エージェント型コーディング）。
推論努力レベル：low、medium、xhigh（デフォルト）。高い努力レベルは一般的にスコアを向上させるが、トークン消費も増加する。
ハードウェア：NVIDIA L40S（48 GB）、H100（80 GB）、H200（141 GB）。モーダルGPUレンタルを使用し、全セットで約3,000ドルのコスト。
モデル読み込みにはllama.cpp（2026年8月16日ビルド）を使用し、重みの量子化に関係なくF16KVキャッシュを採用。
表示された信頼区間はウィルソン95％区間。HNのコメントで、これは保守的であり、ランダムな実行間のばらつきとは直接関係ないことが説明されている。

コミュニティの見解

結論： コメント欄のユーザーは主な結果を確認しつつ、推論努力の重要性を強調し、KVキャッシュの量子化やGPUメモリ制限に関する疑問を提起している。

推論努力の重要性： あるコメント者は、より長い思考が量子化ノイズを相殺できると指摘。ただし、トークン消費の増加を伴う。
GPUメモリの限界： ユーザーは、4ビットモデルでも長文コンテキストでは16 GBカードの容量を超えると指摘。3ビットやミックスドプレシジョン方式がそのギャップを埋める可能性がある。
KVキャッシュの量子化： モデル量子化、KVキャッシュ量子化、コンテキストサイズを組み合わせたベンチマークの要望が寄せられ、未検討の領域であることを示している。
ハードウェアの実用性： 複数のコメントで、多くのユーザーが8〜12 GB GPUを持っていると指摘。ここでは、4ビットモデルですら有用なコンテキスト長に収まらない可能性がある。

コストに関する考察

結論： クラウドGPUで大規模ベンチマークを実行するのは高コスト。4ビット量子化はメモリと計算コストを削減するが、大規模MoEモデルのAPI価格と比べると、その節約は限定的である。

モーダルGPUレンタルを使用。合計支出は約3,000ドル。
参照用に、DeepSeek V4 Flash 0731（284B MoE）はOpenRouterで100万トークンあたり約0.10ドル。ローカルで27Bの密行列モデルを実行するよりも、トークン単価がはるかに安い。
4ビットのメモリ節約（約38 GB vs 55 GB）により、単一のRTX 4090で実行可能となり、マルチGPU構成を回避できる。

実用的アドバイス

結論： 多くのローカルワークロードでは、4ビットのQ4_K_M量子化を使用すべき。2ビットはリソースが限られた環境に適し、1ビットは完全に避けるべき。

GPUに収まる最高の量子化を選択し、必要なKVキャッシュサイズを維持する。
わずかな精度低下が見られる場合、推論努力をxhighに設定。トークン使用量の増加を想定する。
KVキャッシュメモリを監視する。4ビットモデルでも、32kトークンのキャッシュは約2.3 GBを消費。長文コンテキストではより大きなGPUが必要になる可能性がある。
16 GBカードで64kトークン以上が必要な場合（本ベンチマークではカバーされていない）、ミックスドプレシジョンまたは3ビット方式を検討する。
大規模データセットでの量子化対応学習を実施しない限り、1ビット量子化は避けるべき。これは現在の大多数のユーザーには実用的ではない。

最後に

Qwen3.8 27Bの量子化は、4ビットまで実用的に安全であり、幅広いタスクでBF16レベルの品質を達成しつつ、コンシューマー向けGPUに収まる。性能曲線は非線形：BF16から4ビットまではほとんど変化なし、2ビットでわずかな低下、1ビットで劇的な崩壊。特に洗練されたQ4_K_Mバージョンを活用することで、能力を損なうことなく大規模言語モデルのローカル展開が可能になる。