Liquid AI LFM3 2B-파라미터 멀티모달 모델 출시

LFM3는 2B-parameter 제품군에서 멀티모달, 온디바이스 인텔리전스를 제공합니다

핵심 요약: Liquid AI는 LFM3를 출시했습니다. 이는 2B-parameter 멀티모달 모델 제품군(텍스트, 비전, 오디오, 옴니, 의사결정)으로, 휴대폰, 노트북, 엣지 CPU/GPU에서 실행되며 다양한 에이전트 및 멀티모달 벤치마크에서 더 큰 모델을 능가합니다.

새로운 하이브리드 아키텍처로 파라미터당 더 높은 표현력 제공

  • LFM3는 트리-하이브리드 레이어 믹스를 사용합니다: 13개의 게이트 단기 컨볼루션 레이어, 256-토큰 창을 가진 5개의 슬라이딩 윈도우 어텐션(SWA) 레이어, 총 24개 레이어 중 6개의 글로벌 어텐션 레이어. 컨볼루션 커널 크기는 7입니다(LFM2의 3에서 증가).
  • 헤드별 게이트 어텐션은 각 어텐션 헤드에 시그모이드 게이트를 적용하여, 헤드가 가치를 더하지 않을 때 비활성화할 수 있게 하여 양자화 안정성을 향상시킵니다.
  • 부분 RoPE는 글로벌 어텐션 레이어에서 각 헤드의 고주파 절반만 회전시켜, 저주파 콘텐츠를 거리 불변 매칭을 위해 보존합니다.
  • 샌드위치 정규화는 블록 입력과 출력을 모두 정규화하여 활성화 값을 잘 스케일링되게 유지합니다.
  • 모델은 22T 토큰으로 훈련되었으며, 마지막 3.5T 토큰은 더 높은 품질의 에이전트 추적 및 도구 호출 데이터에 중점을 두고, 컨텍스트 창을 256K 토큰으로 확장했습니다.
  • 하드웨어-인-더-루프 아키텍처 검색은 2개 장치(LFM2)에서 14개 장치/백엔드 조합으로 확장되었습니다. 여기에는 Samsung Galaxy S26 Ultra, OnePlus 15, Raspberry Pi 5, Apple M4 Max, AMD Ryzen AI, Arm 및 x86 CPU, GPU, Qualcomm Hexagon NPU가 포함됩니다.

결과: 파라미터당, LFM3-1.7B는 짧은 프롬프트에서 LFM2-1.2B와 일치하며, 8K-토큰 컨텍스트를 처리할 때 LFM2보다 약 25% 빠릅니다.

멀티모달 제품군이 모든 모달리티를 포괄합니다

모델 모달리티 파라미터 주요 기능
LFM3-1.7B 텍스트 1.7B 256K-토큰 컨텍스트, 에이전트 사후 훈련, 도구 사용
LFM3-VL-2B 비전(이미지 + 비디오) ~2B 비디오 Q&A, 단계별 추론, 공간적 근거
LFM3-Audio-2B 오디오 ~2B 음성-텍스트, 다국어 TTS, 오디오 추론, 도구 호출
LFM3-Omni-2B 비전 + 오디오 + 텍스트 2.2B 음성 시각 QA, 오디오-비주얼 비디오 이해, 멀티모달 도구 호출
d1-2B 의사결정(텍스트 + 이미지) 2B 보정된 확률로 단일 패스 구조화 답변
d1-Omni-2B 의사결정(텍스트 + 이미지 + 오디오) 2B d1-2B와 동일하지만 음성 쿼리 허용

모든 모델은 동일한 백본을 공유하므로 개발자는 사용 사례에 맞는 가장 작은 모델을 선택하고 로컬에서 미세 조정할 수 있습니다.

텍스트 모델 LFM3-1.7B가 에이전트 작업에서 탁월함

  • 벤치마크 하이라이트 (높을수록 좋음, 별도 표기 없음):
    • 지시 따르기 (IFEval): 96.66% – 표의 최상위.
    • 도구 사용 (ToolSandbox): 80.36% – Qwen3.5-9B를 능가.
    • 긴 컨텍스트 작업 (RULER 128K): 65.56% – 더 큰 8-12B 모델보다 우수.
    • 에이전트 코딩 (SWE-bench Verified): 43.40% – Qwen3.5-4B와 비슷.
  • 처리량: NVIDIA B300에서 SGLang BF16으로, LFM3-1.7B는 1,024개의 동시 요청에서 하루 3.6B 토큰을 생성하며, 비교 모델 중 가장 높습니다.
  • 온디바이스 속도: llama.cpp Q4_0으로 측정했을 때, LFM3-1.7B는 다음으로 빠른 모델보다 1.8-2.8배 빠르게 디코딩하고 가장 적은 메모리를 사용합니다; 128K-토큰 KV 캐시는 1.6GB를 차지하며, Qwen3.5-4B의 4.3GB와 대조적입니다.
  • 실제 에이전트 테스트: Mac 기반 평가에서 65개의 일상 작업 중 LFM3-1.7B는 64% 작업 성공(Qwen3.5-2B의 48% 대비), 58% 더 적은 토큰 사용, 시도 중 **<1%**에서 중단.

비전 모델 LFM3-VL-2B가 새로운 효율성 기준을 세움

  • 성능: 62개의 비전 벤치마크에서 LFM3-VL-2B는 평균 71.4를 기록, 동일 크기 경쟁사보다 최소 7.4점 높고, 많은 작업에서 12B-파라미터 Gemma 4와 일치.
  • 비디오 이해: 비디오 입력을 허용하는 첫 LFM 비전 모델; 강의, 워크스루, 카메라 피드에 대한 질문에 답할 수 있음.
  • 효율성: 새로운 사내 비전 인코더(164M 파라미터)는 Qwen3.5-2B의 정확도를 유지하면서 2.2배 적은 FLOPs를 사용. 온디바이스 프리필 처리량은 해당 클래스에서 가장 높음.
  • 처리량: NVIDIA B300에서 SGLang BF16으로, LFM3-VL-2B는 >12k 토큰/초를 생성, 모든 비교 모델을 능가.

오디오 모델 LFM3-Audio-2B가 온디바이스 음성의 기준을 높임

  • 품질 지표:
    • UTMOSv2 (음성 자연스러움): 3.8 – Qwen2.5-Omni-3B(3.4)보다 높음.
    • WER (영어 ASR): 1.4% – 나열된 모델 중 최고.
    • VoiceBench: 73.1 – 최고 점수, 강력한 음성 생성 및 도구 호출을 나타냄.
  • 아키텍처: 인과 오디오 인코더에서 슬라이딩 윈도우 어텐션과 단기 컨볼루션을 결합; LiquidCodec 토크나이저를 사용하여 80ms의 음성을 12개의 이산 토큰으로 압축, 병렬 토큰 예측 가능.
  • 지연 시간: 음성 종료 후 첫 토큰이 약 50ms 내에 나타나, 자연어 음성 어시스턴트를 지원.

옴니 모델 LFM3-Omni-2B가 비전, 오디오, 언어를 통합

  • 교차 모달 기능: 음성 시각 QA, 오디오-비주얼 비디오 추론, 멀티모달 도구 호출을 단일 2.2B-파라미터 모델에서 제공.
  • 벤치마크 비교: 대부분의 비디오+오디오 작업에서 Qwen2.5-Omni-3B를 능가 (예: Daily-Omni 70.1% vs 58.8%).
  • 온디바이스 사용 사례: 클라우드 연결 없이 보고, 듣고, 행동할 수 있는 어시스턴트를 가능하게 하여 태블릿, 차량 내 시스템, 로봇 공학에 적합.

의사결정 모델이 즉각적인 구조화 답변 제공

  • d1-2B (텍스트 + 이미지) 및 d1-Omni-2B (오디오 추가)는 이전 d1-3B를 약 33% 적은 파라미터로 대체하면서 정확도를 향상:
    • Decision Bench (엔터프라이즈 레코드): 85.2% vs 83.6%.
    • Decision Index: 51.1 vs 49.0.
  • 타입화된 답변에는 이제 Point (경계 상자), Read (추출된 스팬), Estimate (숫자 범위), Pick (다중 옵션 선택)이 단일 전방 패스에 포함.
  • 음성 쿼리는 대부분의 정확도를 유지 (예: DecisionBench 음성 78.2% vs 서면 83.4%).

Hacker News의 커뮤니티 피드백

"LFM 3를 LFM 2.6 대신 배포하게 되어 기쁩니다; 큰 발전처럼 보입니다." – @colingauvin

"이 릴리스에 참여했으며, 로컬 AI와 클라우드 프론티어 모델에 대한 질문에 기꺼이 답변하겠습니다." – @samstevens

"LFM3-VL-2B가 텍스트 전용 프롬프트에서 LFM3-1.7B보다 더 나은 결과를 보였습니다; 1.7B Q8 버전의 양자화 문제일 가능성이 있습니다." – @lubitelpospat

"에이전트 코딩 수치가 Qwen3.5-4B와 비슷합니다; 1.7B 모델로서 인상적입니다!" – @jauntywundrkind

이러한 댓글은 초기 사용자의 열정, 온디바이스 배포의 실질적 이점, 그리고 사용자들이 이미 조사 중인 몇 가지 양자화 문제를 강조합니다.

시작하기

  • 가중치: 오픈 가중치 체크포인트는 Hugging Face, Liquid AI Playground, Liquid AI API를 통해 제공됩니다.
  • 지원 하드웨어: Apple M4 Max, AMD Ryzen AI, Qualcomm Hexagon NPU, Arm/x86 CPU, NVIDIA GPU, SGLang, llama.cpp, MLX, vLLM을 통한 클라우드 백엔드.
  • 미세 조정: 2B-클래스 크기로 단일 GPU에서 전체 미세 조정이 가능; 블로그는 도메인 특화 적응(예: 풍력 터빈 결함 감지) 및 로봇 공학 파이프라인을 위한 노트북을 제공.

LFM3가 중요한 이유

LFM3는 2B-파라미터 멀티모달 백본이 특수, 에이전트, 장기 컨텍스트 작업에서 훨씬 더 큰 모델을 능가하면서 엣지 장치에서 효율적으로 실행될 수 있음을 증명합니다. 이는 클라우드 전용, 고비용 추론에서 프라이빗, 저지연, 온디바이스 AI로 프론티어를 이동시키며, 대규모 컴퓨팅 예산 없이 개발자가 맞춤화할 수 있습니다.

Sources