LiquidAI d1-3B 및 d1-omni-600M 엣지 추론을 위한 오픈 결정 모델

TL;DR

LiquidAI는 하위 10B 모델 중에서 가장 높은 결정 지수 점수를 기록하며, 다양한 NVIDIA Jetson 엣지 장치에서 50ms 미만의 시간에 추론을 수행하는 두 가지 오픈웨이트 다중모달 결정 모델인 d1-3B와 실험용 d1-omni-600M을 발표했습니다.

d1-3B와 d1-omni-600M가 중요한 이유

  • 결정 중심 아키텍처 – 생성형 LLM과 달리, 이 모델들은 한 번의 순전파에서 단일 구조화된 답변을 생성하여 결정적이고 낮은 지연 시간의 결정을 가능하게 합니다.
  • 엣지 대응 성능 – d1-3B는 Jetson AGX Thor에서 질문에 답변하는 데 16ms, 모든 테스트된 Jetson 플랫폼에서 50ms 미만의 시간을 소요하여 실시간 온디바이스 추론을 가능하게 합니다.
  • 다중모달 유연성 – d1-3B는 텍스트 + 이미지 입력을 처리하며, d1-omni-600M은 이를 텍스트 + 이미지 또는 텍스트 + 오디오로 확장하여 더 넓은 범위의 센서 데이터를 지원합니다.

모델 아키텍처 및 훈련

d1-3B

  • LFM2.5-VL-3B라는 디코더 전용 시각-언어 기반 모델을 기반으로 구축되었습니다.
  • 텍스트와 384px 이미지를 입력으로 수용합니다.
  • 토큰 시퀀스가 아닌 단일 답변 벡터를 출력하는 결정 모델로 훈련되었습니다.

d1-omni-600M (실험용)

  • 양방향 인코더인 LFM2.5-Encoder-350M에서 파생되었습니다.
  • 별도의 시각 및 오디오 인코더를 추가하여 두 가지 모달리티 구성인 텍스트 + 이미지 또는 텍스트 + 오디오를 지원합니다.
  • 현재 연구용 릴리스이며, 속도 수치는 공개되지 않았습니다.

벤치마크 성능

이 모델들은 독해력, 독성 탐지, 의도 분류, 의료 QA, 다국어 이해를 포함한 7개의 공개 데이터셋에서 평가되었습니다. 점수는 Decision Index v0.2.1 기준으로 보고되었습니다.

벤치마크 d1-omni-600M d1-3B Decider 2B Decider 4B
SQuAD 2.0 74.0 83.3 67.7 76.0
Civil Comments 95.8 93.3 93.6 92.8
MASSIVE intent 86.1 86.9 81.1 88.3
PubMedQA 61.3 68.3 65.7 63.3
BoolQ 77.7 86.3 87.3 89.0
XNLI 74.7 85.6 85.0 88.6
PAWS-X 79.5 76.4 59.5 69.8
평균 78.4 82.9 77.1 81.1
  • d1-3B는 모든 모델 중 가장 높은 평균 점수(82.9)를 기록하며, 4B Decider 기준보다 뛰어납니다.
  • d1-omni-600M은 600M 파라미터로도 Decider 2B를 능가하는 78.4점을 기록했습니다.
  • d1-3B의 시각 능력은 표준 시각 벤치마크에서 검증되었으며, d1-omni-600M의 오디오 벤치마크는 아직 공개되지 않았습니다.

엣지 및 GPU 지연 시간

엣지 장치 (NVIDIA Jetson)

장치 한 질문 세 질문 3.4K토큰 상태 384px 이미지 64개 패킹된 상태
Apple M5 Pro 30ms 41ms 640ms 62ms 78/s
Jetson AGX Thor 16ms 20ms 220ms 35ms 262/s
Jetson AGX Orin 64GB 26ms 35ms 560ms 83ms 110/s
Jetson Orin Nano 50ms 73ms 1,640ms 202ms 38/s
  • 지연 시간은 선형보다 낮은 비율로 증가합니다: Thor에서 세 질문을 처리하는 데 단일 쿼리보다 약 1.3배의 시간만 소요됩니다.

GPU 플랫폼

플랫폼 한 질문 세 질문 3.4K토큰 상태 384px 이미지 64개 패킹된 상태
NVIDIA RTX 4090 8ms 21ms 102ms 17ms 475/s
AMD MI325X 9ms 14ms 44ms 18ms 1,106/s
  • 고성능 GPU에서는 d1-3B가 질문에 대한 답변을 10ms 미만, 384px 이미지 처리를 18ms 미만으로 수행합니다.

시작하기

이 모델들은 Hugging Face를 통해 자가 포함된 추론 코드와 함께 배포됩니다. d1-3B에 대한 예제 코드 (transformers>=5.14 필요):

pip install "transformers>=5.14" torch torchvision pillow

import io, urllib.request
import torch
from PIL import Image
from transformers import AutoModel

device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
model = AutoModel.from_pretrained(
    "LiquidAI/d1-3B",
    trust_remote_code=True,
    dtype=torch.float32 if device == "cpu" else torch.bfloat16,
).to(device)

questions = {
    "refund": {"type": "noul", "instructions": "고객이 환불을 요청하고 있나요?"},
    "team": {"type": "choice", "instructions": "이 작업을 처리할 팀은 무엇인가요?",
             "criteria": {"billing": "요금, 환불, 송장", "technical": "앱 또는 사이트 오류", "fraud": "허가되지 않은 사용 의심"}},
    "urgency": {"type": "score", "instructions": "이 작업의 긴급도는 어떻게 되나요?",
                "criteria": ["기다릴 수 있음", "오늘", "고객을 지금 방해함"]},
}
print(model.system_one("이번 달에 두 번 청구되었습니다. 그 중 하나를 환불해 주세요.", questions))

# 이미지 예제
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
photo = Image.open(io.BytesIO(urllib.request.urlopen(url).read()))
print(model.system_one(None, {"cats": {"type": "choice", "instructions": "고양이는 몇 마리 있나요?",
               "criteria": {"one": "한 마리", "two": "두 마리", "more": "세 마리 이상"}}}, images=[photo]))

# 배치 예제
tickets = ["내 소포는 어디에 있나요? 월요일에 도착해야 했는데요.", "설정을 열 때 앱이 충돌합니다."]
print(model.system_one_batch([(t, {"team": questions["team"]}) for t in tickets]))
  • d1-omni-600M 카드는 텍스트 + 이미지 또는 텍스트 + 오디오 입력에 대한 유사한 사용 지침을 제공합니다.

가용성 및 커뮤니티 리소스

엣지 AI에 대한 함의

  • 결정적이고 낮은 지연 시간의 결정은 라운드트립 클라우드 지연 없이 온디바이스 모니터링, 사기 탐지, 실시간 지원을 가능하게 합니다.
  • 다중모달 입력은 시각적 또는 음성 신호를 텍스트 맥락과 융합해야 하는 로봇공학, IoT, 모바일 어시스턴트 등에 적용 가능성을 넓힙니다.
  • 오픈웨이트 릴리스는 개발자가 결정 모델을 실험하고 벤치마크하며 자체 파이프라인에 통합할 수 있는 장벽을 낮추어 엣지 중심 AI의 채택을 가속화할 수 있습니다.

LiquidAI의 오픈 d1 결정 모델은 상용 Jetson 하드웨어에서 높은 정확도와 50ms 미만의 지연 시간을 동시에 제공하며, 다중모달 엣지 추론의 새로운 성능-크기 기준을 설정했습니다.

Sources