IBM Granite 4.0 Nano 릴리스 노트

IBM은 에지 및 온-디바이스 애플리케이션에 최적화된 소형 언어 모델(SLM) 시리즈인 Granite 4.0 Nano를 출시했습니다. 이러한 모델은 최소한의 파라미터 규모 내에서 높은 성능을 제공하여 전문 작업에서 유용성을 달성하기 위해 막대한 파라미터 수의 필요성을 줄이는 것을 목표로 합니다.

모델 변형 및 아키텍처

Granite 4.0 Nano는 서로 다른 런타임 간의 호환성을 보장하기 위해 두 가지 아키텍처 접근 방식으로 나뉜 네 가지 instruct 모델과 해당 베이스 모델로 구성됩니다:

• Granite 4.0 H 1B: 약 15억 개의 파라미터를 갖는 밀집형 LLM으로, 하이브리드-SSM(상태 공간 모델) 기반 아키텍처를 특징으로 합니다.
• Granite 4.0 H 350M: 약 3억 5천만 개의 파라미터를 갖는 밀집형 LLM으로, 하이브리드-SSM 기반 아키텍처를 특징으로 합니다.
• Granite 4.0 1B 및 350M: 하이브리드 아키텍처에 최적화된 지원이 부족한 workload(예: llama.cpp)를 위해 제공되는 1B 및 350M 모델의 전통적인 트랜스포머 기반 버전입니다.

기술 사양 및 훈련

모든 Granite 4.0 Nano 모델은 원래 Granite 4.0 제품군에 사용된 15조 토큰 이상의 데이터셋과 동일한 향상된 방법론, 파이프라인을 사용하여 훈련되었습니다.

주요 배포 및 거버넌스 표준에는 다음이 포함됩니다:

• 라이선스: Apache 2.0 라이선스 하에 출시되었습니다.
• 런타임 지원: vLLM, llama.cpp, MLX에 대한 네이티브 아키텍처 지원을 제공합니다.
• 인증: 책임감 있는 모델 개발을 위한 ISO 42001 인증을 받았으며, 이를 통해 모델이 글로벌 표준에 따라 구축 및 관리됨을 보장합니다.

성능 및 벤치마크

Granite 4.0 Nano 모델은 0.2B에서 2B 파라미터 범위의 다른 모델들, 즉 Alibaba(Qwen), LiquidAI(LFM), Google(Gemma)의 모델들과 비교하여 향상된 기능을 보여줍니다.

일반 기능

지식, 수학, 코드, 안전성을 측정하는 일반 벤치마크에서 Nano 모델은 크기 대비 기능이 크게 향상되었습니다.

에이전틱 워크플로 성능

이 모델들은 에이전틱 워크플로에 중요한 작업에서 유사한 크기의 경쟁자들보다 우수한 성능을 보이며, 구체적으로 다음과 같은 영역에서 그렇습니다:

• 지시 따르기: IFEval 벤치마크로 측정됩니다.
• 툴 호출: Berkeley의 Function Calling Leaderboard v3(BFCLv3)로 측정됩니다.

결론

Granite 4.0 Nano는 높은 성능과 효율성을 균형 있게 유지하는 소형 모델의 유연한 범위를 제공하며, 온-디바이스 AI 배포와의 호환성을 극대화하기 위해 하이브리드-SSM과 전통적인 트랜스포머 아키텍처를 모두 제공합니다.