LiquidAI d1-3B 和 d1-omni-600M 开源决策模型，适用于边缘推理

TL;DR

LiquidAI 宣布推出两款开源权重的多模态决策模型 d1-3B 和实验性模型 d1-omni-600M，这两款模型在参数量低于 100 亿的模型中取得了最高的决策指数得分，并可在一系列 NVIDIA Jetson 边缘设备上实现低于 50 毫秒的推理速度。

为什么 d1‑3B 和 d1‑omni‑600M 重要

  • 面向决策的架构 – 与生成式大语言模型不同，这些模型在一次前向传播中生成单一结构化答案，实现确定性、低延迟的决策。
  • 边缘就绪性能 – d1‑3B 在 Jetson AGX Thor 上回答问题仅需 16 毫秒，在所有测试的 Jetson 平台上均低于 50 毫秒，使设备端实时推理成为可能。
  • 多模态灵活性 – d1‑3B 支持文本 + 图像输入；d1‑omni‑600M 进一步扩展为支持文本 + 图像 或 文本 + 音频，可处理更广泛的传感器数据。

模型架构与训练

d1‑3B

  • 基于 LFM2.5‑VL‑3B，一个仅解码器的视觉-语言基础模型。
  • 接受文本和 384 像素图像作为输入。
  • 训练为决策模型，输出单一答案向量而非词元序列。

d1‑omni‑600M（实验性）

  • 源自 LFM2.5‑Encoder‑350M，一个双向编码器。
  • 增加了独立的视觉和音频编码器，支持两种模态配置：文本 + 图像 或 文本 + 音频。
  • 目前为研究发布；未提供速度数据。

基准性能

这些模型在七个公开数据集上进行了评估，涵盖阅读理解、毒性检测、意图分类、医疗问答和跨语言理解。得分基于 决策指数 v0.2.1。

基准 d1‑omni‑600M d1‑3B Decider 2B Decider 4B
SQuAD 2.0 74.0 83.3 67.7 76.0
Civil Comments 95.8 93.3 93.6 92.8
MASSIVE 意图 86.1 86.9 81.1 88.3
PubMedQA 61.3 68.3 65.7 63.3
BoolQ 77.7 86.3 87.3 89.0
XNLI 74.7 85.6 85.0 88.6
PAWS‑X 79.5 76.4 59.5 69.8
平均分 78.4 82.9 77.1 81.1
  • d1‑3B 在所有列出模型中取得最高平均分（82.9），超越 4 B 的 Decider 基线。
  • d1‑omni‑600M 得分为 78.4，尽管仅有 600 M 参数，仍优于 Decider 2B。
  • d1‑3B 的视觉能力已在标准视觉基准上验证；d1‑omni‑600M 的音频基准尚未发布。

边缘与 GPU 延迟

边缘设备（NVIDIA Jetson）

设备 一个问题 三个问题 3.4K token 状态 384 像素图像 64 个打包状态
Apple M5 Pro 30 毫秒 41 毫秒 640 毫秒 62 毫秒 78 /秒
Jetson AGX Thor 16 毫秒 20 毫秒 220 毫秒 35 毫秒 262 /秒
Jetson AGX Orin 64 GB 26 毫秒 35 毫秒 560 毫秒 83 毫秒 110 /秒
Jetson Orin Nano 50 毫秒 73 毫秒 1,640 毫秒 202 毫秒 38 /秒
  • 延迟呈亚线性增长：在 Thor 上处理三个问题仅需单次查询约 1.3 倍时间。

GPU 平台

平台 一个问题 三个问题 3.4K token 状态 384 像素图像 64 个打包状态
NVIDIA RTX 4090 8 毫秒 21 毫秒 102 毫秒 17 毫秒 475 /秒
AMD MI325X 9 毫秒 14 毫秒 44 毫秒 18 毫秒 1,106 /秒
  • 在高端 GPU 上，d1‑3B 回答一个问题耗时低于 10 毫秒，处理 384 像素图像耗时低于 18 毫秒。

快速上手

这些模型通过 Hugging Face 分发，附带自包含的推理代码。d1‑3B 的示例代码（需 transformers>=5.14）：

pip install "transformers>=5.14" torch torchvision pillow

import io, urllib.request
import torch
from PIL import Image
from transformers import AutoModel

device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
model = AutoModel.from_pretrained(
    "LiquidAI/d1-3B",
    trust_remote_code=True,
    dtype=torch.float32 if device == "cpu" else torch.bfloat16,
).to(device)

questions = {
    "refund": {"type": "noul", "instructions": "客户是否在要求退款？"},
    "team": {"type": "choice", "instructions": "应由哪个团队处理此问题？",
             "criteria": {"billing": "费用、退款、发票", "technical": "应用或网站故障", "fraud": "疑似未经授权的使用"}},
    "urgency": {"type": "score", "instructions": "此问题有多紧急？",
                "criteria": ["可等待", "今天", "正在阻碍客户"]},
}
print(model.system_one("我这个月被重复收费了，请退还其中一笔。", questions))

# 图像示例
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
photo = Image.open(io.BytesIO(urllib.request.urlopen(url).read()))
print(model.system_one(None, {"cats": {"type": "choice", "instructions": "有多少只猫？",
               "criteria": {"one": "一只", "two": "两只", "more": "三只或更多"}}}, images=[photo]))

# 批处理示例
tickets = ["我的包裹在哪里？周一就该到了。", "打开设置时应用会崩溃。"]
print(model.system_one_batch([(t, {"team": questions["team"]}) for t in tickets]))
  • d1‑omni‑600M 的模型卡片提供了针对文本 + 图像或文本 + 音频输入的类似使用说明。

可用性与社区资源

对边缘 AI 的影响

  • 确定性、低延迟决策 可实现设备端内容审核、欺诈检测和实时辅助，无需依赖云端往返延迟。
  • 多模态输入 拓展了在机器人、物联网和移动助手等领域的适用性，这些场景需融合视觉或听觉线索与文本上下文。
  • 开源权重发布 降低了开发者实验、基准测试和将决策模型集成到专有流程中的门槛，有望加速边缘优先 AI 的采用。

LiquidAI 的开源 d1 决策模型为多模态边缘推理树立了新的性能与尺寸基准，在主流 Jetson 硬件上实现了高精度与低于 50 毫秒的延迟。

Sources