LFM2.5-24B-A2B: Liquid AI의 24B 추론 에이전트, 단 2B 활성 파라미터만으로 작동

Liquid AI는 LFM2.5-24B-A2B를 출시했습니다. 이는 토큰당 2B의 활성 파라미터만을 사용하는 24B 파라미터 추론 모델로, 로컬 하드웨어에서 빠르고 프라이빗한 에이전트를 실행하도록 설계되었습니다. 이 모델이 중요한 이유는 지속적인 에이전트 추론을 온디바이스에서 합리적인 비용으로 가능하게 하기 때문입니다. 각 체인오브소트 토큰의 비용이 저렴하며, 총 파라미터와 활성 파라미터가 약 50% 더 많은 mixture-of-experts 모델과 경쟁력 있는 성능을 보입니다.

이 모델은 오픈 웨이트로 제공되며, Hugging Face에서 기본 변형인 LFM2.5-24B-A2B-Base와 함께 제공됩니다.

LFM2.5-24B-A2B란 무엇인가

LFM2.5-24B-A2B는 24B 파라미터 추론 모델로, 2B 활성 파라미터를 사용하며 빠르고 프라이빗한 온디바이스 에이전트를 위해 설계되었습니다. 답변 전에 생각하고, 도구를 호출하며, 인기 있는 에이전트 하네스 내에서 다단계 작업을 처리합니다.

토큰당 2B 파라미터만 활성화되므로 각 추론 토큰의 비용이 저렴하여 에이전트가 사용자의 하드웨어에서 지속적으로 실행될 수 있습니다. 이전 모델인 LFM2-24B-A2B와 달리, 이 모델은 최종 답변 전에 명시적인 체인오브소트를 생성하는 추론 전용 모델입니다.

Liquid AI는 모델의 세 가지 주요 특성을 다음과 같이 요약합니다:

  • 최고 수준의 에이전트: 총 및 활성 파라미터가 약 50% 더 많은 Qwen3.6-35B-A3B와 에이전트 및 도구 사용 작업에서 경쟁력 있으며, LiveClaw에서 48.09 대 38.19를 기록했습니다.
  • MoE 속도의 추론: 모델은 항상 답변 전에 생각하며, 토큰당 2B 활성 파라미터만 사용하므로 각 추론 토큰의 비용이 저렴합니다.
  • 효율적인 추론: Apple M5 Max에서 초당 184토큰, 단일 NVIDIA B300 GPU에서 최대 초당 21K 출력 토큰을 처리합니다.

아키텍처 및 학습 레시피

LFM2.5-24B-A2B는 LFM2-24B-A2B를 기반으로 하며 해당 모델의 아키텍처를 유지합니다: 40개 레이어, MoE 블록당 64개 전문가(top-4 라우팅), 게이티드 숏 컨볼루션과 grouped-query attention(GQA)의 동일한 하이브리드 구조입니다.

두 가지 변경으로 이전 모델과 구별됩니다:

  • 컨텍스트 창이 32K에서 131K 토큰으로 증가했습니다.
  • 제자리 토크나이저 확장으로 어휘 크기가 65K에서 128K 토큰으로 두 배가 되어 비라틴 문자 토크나이제이션이 개선되었습니다.

사전 학습은 약 17T에서 약 33T 토큰으로 확장되었습니다. 중간 학습에서는 32K 컨텍스트에서 2T 토큰을 추가하며 추론, 수학, 코드, 지시 따르기, 다국어 텍스트에 중점을 두고, 131K 컨텍스트에서 300B 토큰을 추가하여 긴 컨텍스트 데이터에 중점을 둡니다. 도구 호출 및 다중 턴 궤적은 두 단계 모두에 포함됩니다.

포스트 트레이닝은 기본 모델을 에이전트로 전환하는 5단계로 구성됩니다:

  1. 지도 파인튜닝(SFT)
  2. 교사 전문화
  3. 다중 도메인 온-폴리시 증류(MOPD), 비에이전트: 비에이전트 작업에 대한 전문 교사 증류
  4. MOPD, 에이전트: 에이전트 작업에 초점을 맞춘 두 번째 증류 단계
  5. 에이전트 강화 학습(Agentic RL): OpenClaw, Hermes Agent, Pi, OpenCode와 같은 에이전트 하네스 내에서 모델을 학습

벤치마크 결과

Liquid AI는 LFM2.5-24B-A2B를 Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it, Nemotron-3.5-Lightning과 도구 사용 및 에이전트 워크플로, 지식, 지시 따르기, 수학, 코딩을 다루는 16개 벤치마크에서 평가했습니다. 이 모델은 그룹에서 가장 작은 모델이지만 총 및 활성 파라미터가 약 50% 더 많은 MoE와 경쟁력이 있습니다.

벤치마크 LFM2.5-24B-A2B Qwen3.6-35B-A3B Gemma-4-26B-A4B-it Nemotron-3.5-Lightning (30B-A3B)
AutomationBench 27.69 8.72 5.46 2.61
BFCLv4 65.01 65.00 57.09 53.78
ToolSandbox 80.71 75.02 72.09 75.13
LiveClaw 48.09 38.19 41.25 37.72
PinchBench 83.18 89.93 77.12 84.20
τ³-Bench Banking 8.04 7.63 4.54 7.01
WebArena Verified 26.75 37.62 25.62 28.69
GPQA Diamond 74.42 83.69 74.90 72.42
AA-Omniscience -24.90 -24.35 -59.39 -3.58
HLE 7.40 7.69 8.57 5.65
IFEval 96.75 93.06 92.00 94.19
IFBench 74.69 64.21 47.44 71.67
Multi-IF 84.38 81.53 82.19 82.34
MATH-500 96.04 96.73 95.66 96.40
SWE-Bench Verified (OpenCode) 51.00 66.20 25.80 53.40
SciCode 32.71 37.35 35.42 27.78

모든 모델은 vLLM을 사용하여 각 벤치마크의 권장 생성 파라미터로 평가되었습니다.

모델이 가장 강한 부분

애플리케이션 관점에서 강점은 도구 사용 및 지시 따르기입니다. LFM2.5-24B-A2B는 도구 사용 및 에이전트 벤치마크 8개 중 5개(AutomationBench, BFCLv4, ToolSandbox, LiveClaw, τ³-Bench Banking)에서 경쟁 모델을 앞서거나 동률을 이루며, AutomationBench에서는 다음으로 좋은 모델보다 3배 이상 높은 점수를 기록했습니다. 또한 세 가지 지시 따르기 벤치마크(IFEval, IFBench, Multi-IF)에서 모두 선두를 차지했습니다.

더 큰 모델이 여전히 우위를 보이는 부분

더 큰 모델은 GPQA Diamond, HLE, AA-Omniscience와 같은 지식 중심 벤치마크와 SWE-Bench Verified (OpenCode) 및 SciCode와 같은 코딩 벤치마크에서 여전히 우위를 유지합니다. Liquid AI의 권장 사항은 지식 중심 워크로드에 LFM2.5-24B-A2B를 검색 또는 웹 검색과 함께 사용하는 것입니다.

CPU 및 GPU 추론 속도

LFM2.5-24B-A2B는 llama.cpp, MLX, vLLM, SGLang, ONNX를 포함한 추론 생태계 전반에 걸쳐 출시 첫날부터 지원됩니다.

엣지 추론. LFM2.5-24B-A2B는 비교된 MoE 중 가장 빠르며, M5 Max에서 초당 184토큰, Ryzen AI Max+ 395에서 초당 114토큰을 디코딩합니다. 이는 다음으로 좋은 모델보다 최대 1.7배 빠르며 메모리 사용량은 가장 적습니다.

GPU 추론. LFM2.5-24B-A2B는 크기 클래스에서 가장 빠른 모델로, 단일 B300에서 높은 동시성으로 초당 21K 이상의 출력 토큰을 달성합니다.

LFM2.5-24B-A2B 실행 방법

transformers로 로드하기

최신 버전의 transformers(transformers>=5.0.0 호환)를 설치하세요:

pip install -U transformers

그런 다음 모델을 로드하고 실행합니다:

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2" <- 호환되는 GPU에서 주석 해제
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

에이전트 하네스 연결하기

LFM2.5-24B-A2B를 로컬에서 OpenAI 호환 백엔드 뒤에서 서빙한 다음 에이전트 하네스를 연결하세요. 예를 들어 Hermes Agent를 사용하는 경우:

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

포트는 서빙 백엔드에 따라 다릅니다: llama.cpp와 MLX는 8080, vLLM은 8000, SGLang은 30000, LM Studio는 1234를 사용합니다. 모델 카드에는 OpenClaw 및 Pi 구성이 문서화되어 있으며, Liquid AI는 전체 로컬 에이전트 설정을 다루는 가이드를 게시합니다.

제공 및 시작하기

LFM2.5-24B-A2B와 LFM2.5-24B-A2B-Base는 모두 오픈 웨이트로 Hugging Face에서 제공됩니다.

  • 다운로드: Hugging Face에서 LFM2.5-24B-A2B-Base 및 LFM2.5-24B-A2B.
  • 하네스에서 사용: Liquid AI의 가이드는 OpenClaw, Hermes Agent, Pi와 같은 로컬 에이전트 실행을 다룹니다.
  • 파인튜닝: Liquid AI는 쿡북에서 LFM2.5-24B-A2B를 특정 작업에 적용하는 파인튜닝 튜토리얼을 게시합니다.

온디바이스 에이전트에 미치는 의미

LFM2.5-24B-A2B는 특정 트레이드오프를 목표로 합니다: 로컬 하드웨어에서 지속적으로 실행할 만큼 체인오브소트가 저렴한 추론 모델. 2B 활성 파라미터 수는 토큰당 비용을 낮게 유지하고, 131K 컨텍스트 창은 긴 다중 턴 에이전트 궤적을 지원하며, 에이전트 RL 단계는 정적 데이터가 아닌 실제 하네스 내에서 모델을 학습시킵니다.

벤치마크 표에서 트레이드오프는 명확합니다: 모델은 도구 사용과 지시 따르기에서 가장 강하며, 지식 중심 및 코딩 벤치마크에서는 더 큰 모델보다 약합니다. Liquid AI의 자체 권장 사항은 지식이 병목일 때 검색 또는 웹 검색과 함께 사용하는 것입니다.

Sources