LFM2.5 Q4_0 リリースノート / 新機能紹介

Liquid AI は、LFM2.5 モデルファミリー（230M、350M、1.2B-Instruct、2.6B パラメータバージョン）向けの更新された 4 ビットチェックポイント（Q4_0 GGUF）をリリースしました。これらのチェックポイントは、通常の 4 ビット量子化によるモデル品質の低下を伴わずに、4 ビット量子化のメモリおよび速度の利点を実現するため、Quantization-Aware Distillation（QAD）を活用しています。

量子化対応蒸留（QAD）のパフォーマンス

量子化対応蒸留（QAD）により、高精度の教師モデルから量子化された生徒モデルに知識を蒸留できます。このプロセスにより、標準的な量子化で通常失われる平均 BF16 精度の 97% を回復できます。

推論、指示追従、ツール利用、エージェント機能を含む、GPQA Diamond、MMLU-Pro、IFEval、IFBench、Multi-IF、BFCLv4 などのベンチマーク結果から、QAD チェックポイントが BF16 ベースライン性能の高い割合を維持していることが示されています：

• LFM2.5-230M: 97.1% の保持率
• LFM2.5-350M: 96.5% の保持率
• LFM2.5-1.2B-Instruct: 97.4% の保持率
• LFM2.5-2.6B: 96.6% の保持率

数学的評価では、230M および 350M モデルは GSM8K でテストされ、1.2B-Instruct および 2.6B モデルは AIME25 でテストされました。

エッジハードウェアのスループットと効率性

QAD Q4_0 チェックポイントは、より高精度の量子化バージョンと比較して、顕著なスループットの向上を実現しながら、同等の品質を維持しています。テストは MacBook Pro および NucBox EVO-X2（GPU 推論）および Samsung Galaxy S26 Ultra および Raspberry Pi 5（Arm CPU 推論）で実施されました。

主なパフォーマンスの発見点は以下の通りです：

• LFM2.5-230M および 350M: Q5_K_M チェックポイントと同等の品質を維持しつつ、デコードスループットが 4〜33% 高い。
• LFM2.5-1.2B および 2.6B: Q4_K_M チェックポイントと同等の品質を維持しつつ、スループットが 3〜14% 高い。
• 外部比較: QAD Q4_0 チェックポイントは、230M および 1.2B モデルにおいて Unsloth の UD-Q4_K_XL（高性能な事後量子化チェックポイント）と同等のパフォーマンスを達成しています。

デプロイと使用方法

QAD GGUF は llama.cpp および GGUF Q4_0 アーティファクトをサポートする任意のランタイムと互換性があります。

実装例

開発者は以下のコマンドを使用して LFM2.5-350M モデルを実行できます：

llama-cli -hf LiquidAI/LFM2.5-350M \
  --hf-file LFM2.5-350M-QAD-Q4_0.gguf \
  -p "What is C. elegans?"

利用可能なモデル

以下のモデルのチェックポイントは Hugging Face で利用可能です：

• LFM2.5-230M
• LFM2.5-350M
• LFM2.5-1.2B-Instruct
• LFM2.5-2.6B