Liquid AI LFM3 发布说明

LFM3 概览

Liquid AI 的 LFM3 是新一代基础模型，旨在作为专业智能的起点。该系列包含六个 2B 参数级别的模型——涵盖文本、视觉、音频、全能（omni）和决策——它们共享一个通用的 1.7B 参数基础架构。这些模型专为边缘部署而设计，使用户能够在单个 GPU 上针对特定领域、术语或部署环境进行微调。

架构改进

LFM3-1.7B-Base 模型采用了三混合架构，针对代理（agentic）用例进行了优化，这些用例需要高参数效率和高效的长上下文推理。该架构是使用跨 14 种设备和后端组合（包括移动 CPU、GPU 和 NPU）的硬件在环搜索开发的。

LFM3-1.7B-Base 的关键技术特性包括：

• 三混合层组合： 结合了 13 个门控短卷积、5 个具有 256 token 窗口的滑动窗口注意力（SWA）层，以及 6 个全局注意力层。
• 头级门控注意力： Sigmoid 门允许各个注意力头在没有相关信息可添加时停用，有助于抑制激活异常值并改善量化效果。
• 部分 RoPE： 全局注意力层仅对每个头的半数高频部分应用旋转，而 SWA 层则保持完整的旋转位置嵌入（RoPE）。
• 三明治归一化（Sandwich norm）： 在每个块的输入和输出端应用归一化，以保持激活的稳定性。

这些改进使得 LFM3-1.7B 在参数减少 35% 的情况下，性能超越了之前的 LFM2.5-2.6B。该模型支持 256K 的上下文窗口。

多模态能力

LFM3 在共享的 1.7B 主干基础上提供了专用模型，并集成了新的自研视觉和音频编码器：

• 视觉编码器： 结合了卷积和注意力机制，计算量比之前版本中使用的 SigLIP2 编码器减少了 3 倍。它通过将帧对嵌入到单个时间切片中来支持视频输入。
• 音频编码器和 LiquidCodec： 音频编码器是完全因果的，实现了极低的首 token 时间（低至 50ms）。LiquidCodec 在单 CPU 线程上提供约 87 倍实时速度的流式语音生成。
• 全能模型（Omni Model）： LFM3-Omni-2B 集成了这些编码器以处理文本、图像、视频和音频输入，并支持文本和语音输出，无需再为 ASR、视觉和 TTS 分别使用不同模型。
• 决策模型（d1）： d1-2B 和 d1-omni-2B 模型专为结构化决策而设计。它们在单次前向传递中处理输入并回答多个问题，为分类或提取等任务提供校准后的概率。

部署与微调

LFM3 专为端侧部署而设计，文本模型在 4-bit 精度下占用约 1 GB 空间。Liquid AI 提供了一套微调笔记本，涵盖了各种方法（SFT、DPO、GRPO、CPT），用于使模型适应结构化 JSON 提取、工具调用和机器人技术等任务。

在机器人应用方面，LFM3-VL-2B 模型已在编排、导航和操作任务中得到验证。在 15 种实体上进行训练后，它在 LIBERO 和 RoboCasa-GR1 等基准测试中取得了高成功率，并能在 Jetson AGX Orin 等嵌入式硬件上实现实时动作生成。