Liquid AI 发布 LFM3 20 亿参数多模态模型
LFM3 提供 20 亿参数规模的端侧多模态智能系列
要点： Liquid AI 发布了 LFM3，这是一个 20 亿参数的多模态模型系列（涵盖文本、视觉、音频、全能和决策），可在手机、笔记本电脑和边缘 CPU/GPU 上运行，并在广泛的智能体和多模态基准测试中击败了更大的模型。
新型混合架构为每个参数提供更强的表达能力
- LFM3 使用了三混合层组合：在总共 24 层中，包含 13 层门控短卷积层、5 层 256 token 窗口的滑动窗口注意力 (SWA) 层，以及 6 层全局注意力层。卷积核大小为 7（LFM2 中为 3）。
- 头级门控注意力对每个注意力头应用 sigmoid 门控，允许在不增加价值时停用注意力头，从而提高量化稳定性。
- 部分 RoPE 仅旋转每个全局注意力层中每个头的半数高频部分，保留低频内容以进行距离不变匹配。
- 三明治归一化同时对块输入和输出进行归一化，保持激活值的良好缩放。
- 该模型在 22 万亿 token 上进行训练，最后 3.5 万亿 token 强调更高质量的智能体轨迹和工具调用数据，并将上下文窗口扩展至 256K token。
- 硬件在环架构搜索从 2 个设备 (LFM2) 扩展到 14 种设备/后端组合，包括 Samsung Galaxy S26 Ultra、OnePlus 15、Raspberry Pi 5、Apple M4 Max、AMD Ryzen AI、Arm 和 x86 CPU、GPU 以及 Qualcomm Hexagon NPU。
结果： 在单位参数性能上，LFM3-1.7B 在短提示词上与 LFM2-1.2B 持平，且在处理 8K token 上下文时比 LFM2 快约 25%。
多模态系列涵盖所有模态
| 模型 | 模态 | 参数 | 关键能力 |
|---|---|---|---|
| LFM3-1.7B | 文本 | 17 亿 | 256K token 上下文，智能体后训练，工具使用 |
| LFM3-VL-2B | 视觉 (图像+视频) | ~20 亿 | 视频问答，逐步推理，空间定位 |
| LFM3-Audio-2B | 音频 | ~20 亿 | 语音转文本，多语言 TTS，音频推理，工具调用 |
| LFM3-Omni-2B | 视觉+音频+文本 | 22 亿 | 语音视觉问答，视听视频理解，多模态工具调用 |
| d1-2B | 决策 (文本+图像) | 20 亿 | 具有校准概率的单次结构化回答 |
| d1-Omni-2B | 决策 (文本+图像+音频) | 20 亿 | 与 d1-2B 相同，但接受语音查询 |
所有模型共享同一个主干，允许开发者选择适合其用例的最小模型并在本地进行微调。
文本模型 LFM3-1.7B 在智能体任务中表现出色
- 基准测试亮点（除非另有说明，否则越高越好）：
- 指令遵循 (IFEval)： 96.66% – 榜首。
- 工具使用 (ToolSandbox)： 80.36% – 击败 Qwen3.5-9B。
- 长上下文任务 (RULER 128K)： 65.56% – 优于更大的 8-120 亿参数模型。
- 智能体编码 (SWE-bench Verified)： 43.40% – 与 Qwen3.5-4B 相当。
- 吞吐量： 在配备 SGLang BF16 的 NVIDIA B300 上，LFM3-1.7B 在 1024 个并发请求下每天生成 36 亿 token，在对比模型中最高。
- 端侧速度： 使用 llama.cpp Q4_0 测量，LFM3-1.7B 的解码速度比最快的下一个模型快 1.8–2.8 倍，且内存占用最少；128K token 的 KV 缓存占用 1.6 GB，而 Qwen3.5-4B 为 4.3 GB。
- 真实世界智能体测试： 在 65 个日常任务的 Mac 评估中，LFM3-1.7B 实现了 64% 的任务成功率（Qwen3.5-2B 为 48%），使用的 token 减少了 58%，且在 <1% 的尝试中出现停滞。
视觉模型 LFM3-VL-2B 树立了新的效率标准
- 性能： 在 62 个视觉基准测试中，LFM3-VL-2B 的平均得分为 71.4，比所有同尺寸竞争对手高出至少 7.4 分，并在许多任务上与 120 亿参数的 Gemma 4 持平。
- 视频理解： 第一个接受视频输入的 LFM 视觉模型；可以回答关于讲座、演示或摄像头画面的问题。
- 效率： 新的内部视觉编码器（1.64 亿参数）在匹配 Qwen3.5-2B 准确率的同时，使用的 FLOPs 减少了 2.2 倍。端侧预填充吞吐量在同类产品中最高。
- 吞吐量： 在配备 SGLang BF16 的 NVIDIA B300 上，LFM3-VL-2B 每秒产生 >1.2 万 token，超过所有同类模型。
音频模型 LFM3-Audio-2B 提高了端侧语音的标准
- 质量指标：
- UTMOSv2 (语音自然度)： 3.8 – 高于 Qwen2.5-Omni-3B (3.4)。
- WER (英语 ASR)： 1.4% – 在所列模型中表现最好。
- VoiceBench： 73.1 – 最高分，表明具有强大的语音生成和工具调用能力。
- 架构： 在因果音频编码器中结合了滑动窗口注意力和短卷积；使用 LiquidCodec 分词器，将 80 毫秒的语音压缩为 12 个离散 token，从而实现并行 token 预测。
- 延迟： 语音结束后 ≈50 毫秒内出现第一个 token，支持自然语言语音助手。
全能模型 LFM3-Omni-2B 统一了视觉、音频和语言
- 跨模态能力： 在单个 22 亿参数模型中实现语音视觉问答、视听视频推理和多模态工具调用。
- 基准测试对比： 在大多数视频+音频任务上击败 Qwen2.5-Omni-3B（例如，Daily-Omni 70.1% 对 58.8%）。
- 端侧用例： 使助手无需云连接即可看、听和行动，适用于平板电脑、车载系统和机器人。
决策模型提供即时的结构化回答
- d1-2B（文本+图像）和 d1-Omni-2B（增加音频）取代了之前的 d1-3B，参数减少了 ~33%，同时提高了准确率：
- Decision Bench（企业记录）：85.2% 对 83.6%。
- Decision Index：51.1 对 49.0。
- 类型化回答现在包括 Point（边界框）、Read（提取的跨度）、Estimate（数值范围）和 Pick（多选项选择），均在单次前向传递中完成。
- 语音查询保留了大部分准确率（例如，DecisionBench 语音 78.2% 对书面 83.4%）。
来自 Hacker News 的社区反馈
"很高兴推出 LFM 3 来取代 LFM 2.6；看起来是一个巨大的进步。" – @colingauvin
"我参与了这个版本的发布，很高兴回答关于本地 AI 与云端前沿模型的问题。" – @samstevens
"LFM3-VL-2B 在纯文本提示词上的结果比 LFM3-1.7B 更好；可能是 1.7B Q8 版本中的量化问题。" – @lubitelpospat
"智能体编码数据与 Qwen3.5-4B 持平；对于 1.7B 模型来说令人印象深刻！" – @jauntywundrkind
这些评论突显了早期采用者的热情、端侧部署的实际优势，以及用户正在调查的一些量化怪癖。
入门指南
- 权重： 开放权重检查点可在 Hugging Face、Liquid AI Playground 以及通过 Liquid AI API 获取。
- 支持的硬件： Apple M4 Max、AMD Ryzen AI、Qualcomm Hexagon NPU、Arm/x86 CPU、NVIDIA GPU，以及通过 SGLang、llama.cpp、MLX 和 vLLM 实现的云后端。
- 微调： 20 亿参数级别允许在单个 GPU 上进行完全微调；博客提供了用于特定领域适应（例如风力涡轮机缺陷检测）和机器人流水线的笔记本。
为什么 LFM3 很重要
LFM3 证明了 20 亿参数的多模态主干可以在专业、智能体和长上下文任务中胜过更大的模型，同时在边缘设备上高效运行。这推动了前沿技术从仅限云端、高成本的推理转向 私有、低延迟、端侧 AI，使开发者无需巨额计算预算即可进行定制。