huggingface/smollm

SmollM – Hugging Face에서 제공하는 경량 오픈 소스 언어 및 비전 모델

개요 – 장치 내(on-device)에서 실행되면서도 강력한 성능을 제공하는 컴팩트하고 완전히 개방된 모델 모음입니다. 대표 모델로는 3B 파라미터 인과 언어 모델인 SmolLM-3와 멀티모달 비전-언어 모델인 SmolVLM이 있습니다.

중요성 – 대부분의 최첨단 모델은 거대하여 강력한 서버가 필요합니다. SmollM은 세심한 데이터 큐레이션과 학습 기법을 통해 3B 모델이 다른 3B 모델(Llama 3.2, Qwen2.5)을 능가하고 4B 모델과도 경쟁할 수 있음을 보여주며, CPU나 보급형 GPU에서 추론이 가능할 정도로 가볍습니다.

주요 기능

• SmolLM-3 – 3B 파라미터, 11T 토큰으로 학습. 128k 토큰 컨텍스트(NoPE + YaRN), 이중 모드 추론("think" / "no_think"), 6개 언어의 다국어 지시 지원.
• SmolVLM – 여러 이미지와 텍스트를 입력받아 시각적 질문에 답하고, 이미지를 설명하며, 시각적 스토리텔링을 수행할 수 있는 비전-언어 모델로, 장치 내 사용에 최적화됨.
• 오픈 소스 – 모델 가중치, 학습 데이터 믹스, 전체 학습 구성이 공개됨.
• 사용 편의성 – 텍스트 및 비전 모델 모두 표준 Hugging Face transformers API를 사용할 수 있으며, 로컬 추론을 위한 헬퍼 스크립트가 포함됨.

시작하기

# Text model
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "HuggingFaceTB/SmolLM3-3B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda")

prompt = "Explain gravity in simple terms."
chat = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
out_ids = model.generate(**inputs, max_new_tokens=32768)
print(tokenizer.decode(out_ids[0][len(inputs.input_ids[0]):], skip_special_tokens=True))

# Vision model
from transformers import AutoProcessor, AutoModelForVision2Seq
processor = AutoProcessor.from_pretrained("HuggingFaceTB/SmolVLM-Instruct")
model = AutoModelForVision2Seq.from_pretrained("HuggingFaceTB/SmolVLM-Instruct")

messages = [{"role": "user", "content": [{"type": "image"}, {"type": "text", "text": "What’s in this picture?"}]}]
# (use processor to encode image+text, then model.generate…) 

저장소 구조

• text/ – SmolLM 1-3 코드, 문서 및 리소스.
• vision/ – SmolVLM 코드 및 문서.
• tools/ – 공유 유틸리티 및 즉시 실행 가능한 추론 스크립트.

추가 읽기 및 리소스

• 모델 카드: HuggingFaceTB/SmolLM3-3B-Base, HuggingFaceTB/SmolLM3-3B, HuggingFaceTB/SmolVLM-Instruct.
• 블로그 게시물: https://hf.co/blog/smollm3
• 논문: SmolLM2 paper (arXiv 2502.02737v1).
• 사전 학습 데이터셋: SmolTalk, FineMath, FineWeb-Edu 등.

대상 사용자 – 효율적인 LLM에 관심이 있는 연구자, 장치 내 AI 어시스턴트를 구축하는 개발자, 그리고 독점적인 제한 없이 작지만 유능한 언어 또는 멀티모달 모델이 필요한 모든 분.