LFM2.5-24B-A2B：Liquid AI 的 24B 推理智能体，仅 2B 激活参数

Liquid AI 发布了 LFM2.5-24B-A2B，一个拥有 24B 参数、但每个 token 仅激活 2B 参数的推理模型，旨在本地硬件上运行快速、私密的智能体。该模型之所以重要，是因为它使得在设备端持续进行智能体推理变得可负担：每个思维链 token 的成本都很低，并且该模型与总参数和激活参数约多 50% 的混合专家模型相比具有竞争力。

该模型为开放权重，已在 Hugging Face 上发布，同时还有一个基础变体 LFM2.5-24B-A2B-Base。

LFM2.5-24B-A2B 是什么

LFM2.5-24B-A2B 是一个 24B 参数、2B 激活参数的推理模型，专为在设备端运行快速、私密的智能体而构建。它在回答前会进行思考，调用工具，并在流行的智能体框架内完成多步任务。

由于每个 token 仅激活 2B 参数，每个推理 token 的成本很低，这使得智能体可以在用户自己的硬件上持续运行。与其前代 LFM2-24B-A2B 不同，它是一个仅推理模型，会在最终答案前产生显式的思维链。

Liquid AI 将该模型的三个主要特性总结为：

  • 同类最佳的智能体： 在智能体和工具使用任务上与 Qwen3.6-35B-A3B（一个总参数和激活参数多约 50% 的模型）竞争，在 LiveClaw 上得分 48.09，而后者为 38.19。
  • MoE 速度的推理： 该模型总是在回答前思考，且每个 token 仅激活 2B 参数，因此每个推理 token 的成本很低。
  • 高效推理： 在 Apple M5 Max 上达到 184 tok/s，在单个 NVIDIA B300 GPU 上最高可达 21K 输出 tok/s。

架构与训练方案

LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，并沿用了该模型的架构：40 层，每个 MoE 块 64 个专家，top-4 路由，以及相同的门控短卷积和分组查询注意力（GQA）混合。

有两个变化使其区别于前代模型：

  • 上下文窗口从 32K 增加到 131K token。
  • 就地分词器扩展将词表从 65K 翻倍至 128K token，以改进非拉丁语系文本的分词。

预训练规模从约 17T token 扩展到约 33T token。随后的中期训练在 32K 上下文长度下增加 2T token，侧重于推理、数学、代码、指令跟随和多语言文本，并额外在 131K 上下文长度下添加 300B token，侧重于长上下文数据。工具调用和多轮轨迹贯穿这两个阶段。

后训练通过五个阶段将基础模型转变为智能体：

  1. 监督微调（SFT）
  2. 教师模型特化
  3. 多领域策略蒸馏（MOPD），非智能体：在非智能体任务上蒸馏特化教师模型
  4. MOPD，智能体：专注于智能体任务的第二个蒸馏阶段
  5. 智能体强化学习（智能体 RL）：在 OpenClaw、Hermes Agent、Pi 和 OpenCode 等智能体框架内训练模型

基准测试结果

Liquid AI 将 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 在覆盖工具使用和智能体工作流、知识、指令跟随、数学和编码的 16 个基准上进行了评估。它是该组中规模最小的模型，但与总参数和激活参数多约 50% 的 MoE 模型相比仍具有竞争力。

基准 LFM2.5-24B-A2B Qwen3.6-35B-A3B Gemma-4-26B-A4B-it Nemotron-3.5-Lightning (30B-A3B)
AutomationBench 27.69 8.72 5.46 2.61
BFCLv4 65.01 65.00 57.09 53.78
ToolSandbox 80.71 75.02 72.09 75.13
LiveClaw 48.09 38.19 41.25 37.72
PinchBench 83.18 89.93 77.12 84.20
τ³-Bench Banking 8.04 7.63 4.54 7.01
WebArena Verified 26.75 37.62 25.62 28.69
GPQA Diamond 74.42 83.69 74.90 72.42
AA-Omniscience -24.90 -24.35 -59.39 -3.58
HLE 7.40 7.69 8.57 5.65
IFEval 96.75 93.06 92.00 94.19
IFBench 74.69 64.21 47.44 71.67
Multi-IF 84.38 81.53 82.19 82.34
MATH-500 96.04 96.73 95.66 96.40
SWE-Bench Verified (OpenCode) 51.00 66.20 25.80 53.40
SciCode 32.71 37.35 35.42 27.78

所有模型均使用 vLLM 进行评估，采用每个基准推荐的生成参数。

模型最强的领域

对于应用而言，其优势在于工具使用和指令跟随。LFM2.5-24B-A2B 在八个工具使用和智能体基准中的五个（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）上领先或持平于竞争对手，在 AutomationBench 上的得分是次优模型的三倍多。它还在所有三个指令跟随基准（IFEval、IFBench 和 Multi-IF）上领先。

更大模型仍然胜出的领域

更大的模型在 GPQA Diamond、HLE 和 AA-Omniscience 等知识密集型基准以及 SWE-Bench Verified (OpenCode) 和 SciCode 等编码基准上保持优势。Liquid AI 的建议是将 LFM2.5-24B-A2B 与检索或网络搜索结合使用，以应对知识密集型工作负载。

CPU 和 GPU 上的推理速度

LFM2.5-24B-A2B 在第一天即获得推理生态系统的支持，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

边缘推理。 LFM2.5-24B-A2B 是所对比 MoE 中最快的，在 M5 Max 上解码速度为 184 token/s，在 Ryzen AI Max+ 395 上为 114 token/s。这比次优模型快达 1.7 倍，同时使用的内存最少。

GPU 推理。 LFM2.5-24B-A2B 是其尺寸级别中最快的模型，在单个 B300 上高并发下每秒输出 token 数超过 21K。

如何运行 LFM2.5-24B-A2B

通过 transformers 加载

安装最新版本的 transformers（与 transformers>=5.0.0 兼容）：

pip install -U transformers

然后加载并运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2" <- 在兼容的 GPU 上取消注释
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "什么是秀丽隐杆线虫？"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

指向智能体框架

在本地提供 LFM2.5-24B-A2B，使用任何兼容 OpenAI 的后端，然后将智能体框架指向它。例如，使用 Hermes Agent：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

端口取决于服务后端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。模型卡中记录了 OpenClaw 和 Pi 的配置，Liquid AI 还发布了涵盖完整本地智能体设置的指南。

可用性与入门

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均为开放权重，可在 Hugging Face 上获取。

  • 下载： LFM2.5-24B-A2B-Base 和 LFM2.5-24B-A2B 可在 Hugging Face 上获取。
  • 在你的框架中使用： Liquid AI 的指南涵盖了运行 OpenClaw、Hermes Agent 和 Pi 等本地智能体。
  • 微调： Liquid AI 在其 cookbook 中发布了微调教程，用于将 LFM2.5-24B-A2B 适配到特定任务。

这对设备端智能体意味着什么

LFM2.5-24B-A2B 针对一个特定的权衡：一个推理模型，其思维链成本足够低，可以在本地硬件上持续运行。2B 激活参数保持了较低的每 token 成本，131K 上下文窗口支持长时间的多轮智能体轨迹，智能体 RL 阶段在真实框架而非仅仅静态数据上训练模型。

基准表中的权衡显而易见：该模型在工具使用和指令跟随方面最强，在知识密集型和编码基准上弱于更大模型。Liquid AI 自身的建议是，当知识成为瓶颈时，将其与检索或网络搜索结合使用。

Sources