LFM2.5-DSpark リリースノート / 新機能

Liquid AI は、LFM2.5 ファミリーの 3 つのモデル、LFM2.5-1.2B-Instruct、LFM2.5-2.6B、および LFM2.5-8B-A1B の DSpark ドラフトモデル・チェックポイントをリリースしました。このアップデートでは、ベースラインモデルと同一の出力品質を維持しながら、デコード速度を大幅に向上させ、関数呼び出し（function-calling）のレイテンシを低減する投機的デコード（speculative decoding）パスが導入されています。

DSpark の技術アーキテクチャ

DSpark は、DRAM から SRAM への重みのストリーミングによるコストが原因で、通常はメモリ帯域幅に制限される LLM 推論のデコードフェーズを最適化します。軽量なドラフトモデルを使用して候補トークンを提案し、ターゲットモデルがそれを単一のフォワードパスで検証する仕組みを利用しています。

DSpark は、これを実現するために 3 つの主要コンポーネントを統合しています：

Parallel Backbone: ターゲットモデルのコンテキスト特徴量に基づいた DFlash スタイルのバックボーンで、単一のフォワードパスですべてのドラフトトークンの隠れ状態（hidden states）を生成します。
Sequential Head: 軽量なマルコフ連鎖ベースのヘッドで、トークン間の依存関係を追加することで、後半のポジションにおけるトークンの採択率を高めます。
Confidence-Scheduled Verifier: 各トークンの生存確率を予測し、潜在的な節約分を超える検証コストを避けるために、信頼度の低いサフィックスを枝刈りするメカニズムです。

ドラフトモデルのトレーニングと仕様

Liquid AI は、SFT、チャット、コード、および関数呼び出しのデータを含む多様なデータミックスを使用してドラフトモデルをトレーニングしました。これらのモデルは、5 つのレイヤーと 9 つのブロックで構成される、簡略化された attention-only アーキテクチャです。トレーニングは 15 エポック行われ、最終的なチェックポイントは、最小の損失（loss）ではなく、最高の採択率に基づいて選択されました。

各ドラフトモデルは約 300M パラメータです。具体的なパラメータの内訳は以下の通りです：

| Component | LFM2.5-1.2B-Instruct | LFM2.5-8B-A1B | LFM2.5-2.6B | | :--- | :--- | :--- | :--- | :--- | | Decoder stack (5 layers) | 241.2M | 241.2M | 241.2M | | Hidden-state projection | 21.0M | 21.0M | 21.0M | | Markov head | 33.6M | 65.5M | 65.5M | | Norms + confidence head | 27.5k | 27.5k | 27.5k | | Total | 295.7M | 327.7M | 327.7M |

パフォーマンス・ベンチマーク

DSpark は、ドラフトトークンがターゲットモデルの分布と一致する場合にのみ採択される greedy decoding を使用するため、出力はベースラインの greedy decoding と同一です。その結果、ベンチマークの精度（pass@1 または exact match）は変わりません。

GPU およびオンデバイス・スループット

テストは、単一の H100 80 GB (BF16) 上での SGLang、および M4 Max MacBook Pro (FP16 GGUF) 上での Metal を使用した llama.cpp を用いて実施されました。すべての構成は、バッチサイズ 1、温度 0、および DSpark ブロックサイズ 9 を使用しています。

LFM2.5-2.6B パフォーマンス

| Dataset | Acceptance (of 10) | Speedup on H100 | Speedup on M4 Max | | :--- | :--- | :--- | :--- | :--- | | MATH500 | 5.42 | 3.06x | 2.25x | | HumanEval | 4.54 | 2.56x | 2.63x | | MBPP | 4.71 | 2.64x | 2.11x | | GSM8K | 4.32 | 2.22x | 2.36x | | MT-Bench | 5.07 | 2.87x | 1.99x | | Mean | 4.81 | 2.67x | 2.27x |

LFM2.5-1.2B-Instruct パフォーマンス

| Dataset | Acceptance (of 10) | Speedup on H100 | Speedup on M4 Max | | :--- | :--- | :--- | :--- | :--- | | MATH500 | 6.02 | 2.56x | 2.62x | | HumanEval | 5.31 | 2.26x | 2.87x | | MBPP | 5.52 | 2.37x | 2.74x | | GSM8K | 4.34 | 1.67x | 2.73x | | GSM8K | 4.34 | 1.67x | 2.73x | | MT-Bench | 3.90 | 1.66x | 1.72x | | Mean | 5.02 | 2.10x | 2.54x |

LFM2.5-8B-A1B パフォーマンス

| Dataset | Acceptance (of 10) | Speedup on H100 | Speed| :--- | :--- | :--- | | MATH500 | 8.27 | 3.18x | 1.21x | | HumanEval | 7.02 | 2.58x | 1.12x | | MBPP | 6.93 | 2.64x | 1.09x | | GSM8K | 4.02 | 1.29x | 1.44x | | MT-Bench | 8.52 | 3.02x | 1.04x | | Mean | 6.95 | 2.54x | 1.18x |

LFM2.5-8B-A1B モデルについては、llama.cpp の Metal backend における現在の MoE 実装の制約と、複数のトークンを検証するために必要な重みのトラフィック増加により、オンデバイスの速度向上は平均 18% に制限されています。

エージェント的推論レイテンシ

LFM2.5-2.6B モデルにおいて、DSpark はさまざまなマルチツール・シナリオにおいて、関数呼び出し（function-calling）のレイテンシを平均 57% 低減します。

実装とデプロイメント

LFM2.5-DSpark は、以下のフレームワークを通じて初日からサポートされています：

SGLang: LFM2 ターゲットのための DSpark サポートを含むビルドが必要です (PR #31041)。
llama.cpp: 特定のビルドが必要です (PR #27383)。

ドラフトモデルのチェックポイントは、Hugging Face 上で 1.2B-Instruct、2.6B、および 8B-A1B バリアントの Safetensors および GGUF 形式で利用可能です。