Ollama 上的 IBM Granite 3.0 模型

IBM Granite 3.0 模型現在可以透過 Ollama 執行，提供一系列在 Apache 2.0 授權下發布的 Dense 模型與 Mixture of Experts (MoE) 模型。此版本讓開發者能夠部署高效能、開放權重的模型，用於工具型使用場景、RAG 以及低延遲的裝置端應用程式。

Dense Models: High Performance and Benchmark Rivalry

Granite 3.0 Dense 模型提供 2B 與 8B 參數規模。這些純文字 LLM 是在超過 12 兆個 token 的數據上進行訓練，與先前版本相比，在速度與效能上有顯著提升。

Granite 8B Instruct 模型在 OpenLLM Leaderboard v1 與 OpenLLM Leaderboard v2 基準測試中，其效能表現可與 Llama 3.1 8B Instruct 媲美。

Mixture of Experts (MoE) Models: Optimized for Low Latency

IBM 已在 Granite 系列中推出了首款 Mixture of Experts (MoE) 模型，提供 1B 與 3B 參數規模。這些模型是在超過 10 兆個 token 的數據上進行訓練。

由於採用 MoE 架構，這些模型專為低延遲使用而設計，非常適合部署於裝置端應用程式或需要即時推理的場景。

Core Capabilities and Use Cases

IBM Granite 3.0 系列旨在支援工具型使用場景與檢索增強生成 (RAG)。其核心能力包括：

• Content Processing: 摘要生成、文本分類與文本提取。
• Technical Tasks: 程式碼生成、翻譯、錯誤修復與 function-calling。
• Question Answering: 一般問答與多語言對話使用場景。

Deployment via Ollama

使用者可以透過以下 Ollama 指令來執行這些模型：

• Dense 2B: ollama run granite3-dense
• Dense 8B: ollama run granite3-dense:8b
• MoE 1B: ollama run granite3-moe
• MoE 3B: ollama run granite3-moe:3b