Ollama에서 사용 가능한 IBM Granite 3.0 모델

IBM Granite 3.0 모델은 이제 Ollama를 통해 실행할 수 있으며, Apache 2.0 라이선스 하에 출시된 다양한 Dense 및 Mixture of Experts (MoE) 모델을 제공합니다. 이번 출시를 통해 개발자는 도구 기반 사용 사례, RAG, 그리고 저지연 온디바이스 애플리케이션을 위한 고성능 오픈 웨이트(open-weight) 모델을 배포할 수 있습니다.

Dense 모델: 고성능 및 벤치마크 경쟁력

Granite 3.0 Dense 모델은 2B 및 8B 파라미터 크기로 제공됩니다. 이 텍스트 전용 LLM은 12조 개 이상의 토큰 데이터로 학습되어, 이전 버전과 비교하여 속도와 성능 면에서 상당한 개선을 이루었습니다.

특히 Granite 8B Instruct 모델은 OpenLLM Leaderboard v1 및 OpenLLM Leaderboard v2 벤치마크 모두에서 Llama 3.1 8B Instruct 모델과 대등한 성능을 보여줍니다.

Mixture of Experts (MoE) 모델: 저지연 최적화

IBM은 Granite 제품군에 처음으로 Mixture of Experts (MoE) 모델을 도입했으며, 이는 1B 및 3B 파라미터 크기로 제공됩니다. 이 모델들은 10조 개 이상의 토큰 데이터로 학습되었습니다.

MoE 아키텍처 덕분에 이 모델들은 저지연 사용을 위해 설계되었으며, 온디바이스 애플리케이션이나 즉각적인 추론이 필요한 시나리오에 배포하기에 이상적입니다.

핵심 역량 및 사용 사례

IBM Granite 3.0 제품군은 도구 기반 사용 사례와 검색 증강 생성(RAG)을 지원하도록 설계되었습니다. 주요 역량은 다음과 같습니다:

• 콘텐츠 처리: 요약, 텍스트 분류 및 텍스트 추출.
• 기술적 작업: 코드 생성, 번역, 버그 수정 및 함수 호출(function-calling).
• 질의응답: 일반적인 질의응답 및 다국어 대화 사용 사례.

Ollama를 통한 배포

사용자는 다음 Ollama 명령어를 사용하여 이 모델들을 실행할 수 있습니다:

• Dense 2B: ollama run granite3-dense
• Dense 8B: ollama run granite3-dense:8b
• MoE 1B: ollama run granite3-moe
• MoE 3B: ollama run granite3-moe:3b