LiquidAI d1-3Bおよびd1-omni-600M：エッジ推論向けのオープン意思決定モデル

TL;DR

LiquidAIは、2つのオープンウェイトのマルチモーダル意思決定モデル、d1-3B および実験的モデルの d1-omni-600M を発表しました。これらは100億パラメータ未満のモデルの中で最高の意思決定インデックススコアを達成し、さまざまなNVIDIA Jetsonエッジデバイス上で50ミリ秒未満の推論時間を実現しています。

d1‑3B および d1-omni‑600M の意義

  • 意思決定指向アーキテクチャ – 生成型LLMとは異なり、これらのモデルは1回の順伝播で1つの構造化された回答を出力するため、決定的で低遅延な意思決定が可能になります。
  • エッジ対応のパフォーマンス – d1‑3BはJetson AGX Thor上で16ミリ秒、すべてのテスト済みJetsonプラットフォーム上で50ミリ秒未満で質問に回答でき、リアルタイムのデバイス内推論が実現可能です。
  • マルチモーダルの柔軟性 – d1‑3Bはテキスト＋画像入力を処理できます。d1‑omni‑600Mは、テキスト＋画像 または テキスト＋音声に対応し、より広範なセンサデータを扱えます。

モデルアーキテクチャと学習

d1‑3B

  • LFM2.5‑VL‑3B に基づく、デコーダーのみの視覚言語基盤モデル。
  • テキストおよび384ピクセルの画像を入力として受け入れます。
  • トークン列ではなく、1つの回答ベクトルを出力する意思決定モデルとして学習されています。

d1‑omni‑600M（実験的）

  • LFM2.5‑Encoder‑350M に基づく、双方向エンコーダー。
  • 視覚および音声エンコーダーを別々に追加し、テキスト＋画像 または テキスト＋音声 の2つのモダリティ構成を可能にしています。
  • 現在は研究リリースであり、速度の数値は報告されていません。

ベンチマーク性能

これらのモデルは、読解、毒性検出、意図分類、医療QA、多言語理解をカバーする7つの公開データセット上で評価されました。スコアは Decision Index v0.2.1 に基づいて報告されています。

ベンチマーク d1‑omni‑600M d1‑3B Decider 2B Decider 4B
SQuAD 2.0 74.0 83.3 67.7 76.0
Civil Comments 95.8 93.3 93.6 92.8
MASSIVE intent 86.1 86.9 81.1 88.3
PubMedQA 61.3 68.3 65.7 63.3
BoolQ 77.7 86.3 87.3 89.0
XNLI 74.7 85.6 85.0 88.6
PAWS‑X 79.5 76.4 59.5 69.8
平均 78.4 82.9 77.1 81.1
  • d1‑3Bは、すべてのリストアップされたモデルの中で平均スコア82.9を達成し、4BのDeciderベースラインを上回っています。
  • d1‑omni‑600Mは78.4を達成し、6億パラメータしかないにもかかわらずDecider 2Bを上回っています。
  • d1‑3Bの視覚能力は標準的な視覚ベンチマークで検証済みですが、d1‑omni‑600Mの音声ベンチマークはまだリリースされていません。

エッジおよびGPUの遅延

エッジデバイス（NVIDIA Jetson）

デバイス 1つの質問 3つの質問 3.4Kトークンの状態 384ピクセルの画像 64個のパックされた状態
Apple M5 Pro 30ミリ秒 41ミリ秒 640ミリ秒 62ミリ秒 78/秒
Jetson AGX Thor 16ミリ秒 20ミリ秒 220ミリ秒 35ミリ秒 262/秒
Jetson AGX Orin 64GB 26ミリ秒 35ミリ秒 560ミリ秒 83ミリ秒 110/秒
Jetson Orin Nano 50ミリ秒 73ミリ秒 1,640ミリ秒 202ミリ秒 38/秒
  • 遅延は非線形にスケーリング：Thorでは、3つの質問を処理する時間は単一クエリの約1.3倍にとどまります。

GPUプラットフォーム

プラットフォーム 1つの質問 3つの質問 3.4Kトークンの状態 384ピクセルの画像 64個のパックされた状態
NVIDIA RTX 4090 8ミリ秒 21ミリ秒 102ミリ秒 17ミリ秒 475/秒
AMD MI325X 9ミリ秒 14ミリ秒 44ミリ秒 18ミリ秒 1,106/秒
  • 高性能GPUでは、d1‑3Bは10ミリ秒未満で質問に回答でき、384ピクセルの画像を18ミリ秒未満で処理できます。

使い始め

モデルはHugging Face経由で配布され、自己完結型の推論コードを含んでいます。d1‑3B の例コード（transformers>=5.14 が必要）:

pip install "transformers>=5.14" torch torchvision pillow

import io, urllib.request
import torch
from PIL import Image
from transformers import AutoModel

device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
model = AutoModel.from_pretrained(
    "LiquidAI/d1-3B",
    trust_remote_code=True,
    dtype=torch.float32 if device == "cpu" else torch.bfloat16,
).to(device)

questions = {
    "refund": {"type": "noul", "instructions": "顧客は返金を要求していますか？"},
    "team": {"type": "choice", "instructions": "この処理を担当すべきチームは？",
             "criteria": {"billing": "課金、返金、請求書", "technical": "アプリまたはサイトの不具合", "fraud": "不正利用の疑い"}},
    "urgency": {"type": "score", "instructions": "この件の緊急性は？",
                "criteria": ["待ってもよい", "今日", "顧客の利用を妨げている"]},
}
print(model.system_one("今月、2回課金されました。そのうち1回を返金してください。", questions))

# 画像の例
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
photo = Image.open(io.BytesIO(urllib.request.urlopen(url).read()))
print(model.system_one(None, {"cats": {"type": "choice", "instructions": "猫は何匹いますか？",
               "criteria": {"one": "1匹", "two": "2匹", "more": "3匹以上"}}}, images=[photo]))

# バッチの例
tickets = ["荷物はどこですか？月曜日に届くはずでした。", "設定を開くとアプリがクラッシュします。"]
print(model.system_one_batch([(t, {"team": questions["team"]}) for t in tickets]))
  • d1‑omni‑600M のカードには、テキスト＋画像またはテキスト＋音声入力に対する類似の使用手順が記載されています。

利用可能状況およびコミュニティリソース

エッジAIへの影響

  • 決定的で低遅延な意思決定 により、ラウンドトリップのクラウド遅延なしに、デバイス内でのモデレーション、不正検出、リアルタイム支援が可能になります。
  • マルチモーダル入力 により、視覚的または音声的ヒントとテキストコンテキストを統合する必要があるロボット工学、IoT、モバイルアシスタントなどへの適用範囲が広がります。
  • オープンウェイトリリース により、開発者が意思決定モデルを実験、ベンチマーク、独自パイプラインに統合しやすくなり、エッジ中心のAIの採用を加速する可能性があります。

LiquidAIのオープンd1意思決定モデルは、マルチモーダルエッジ推論において、パフォーマンスとサイズの新しい基準を設定し、商用Jetsonハードウェア上で高精度と50ミリ秒未満の遅延を両立しています。

Sources