Ollama上のIBM Granite 3.0モデル

IBM Granite 3.0モデルがOllama経由で利用可能になりました。Apache 2.0ライセンスの下でリリースされた、DenseモデルとMixture of Experts (MoE)モデルのセレクションを提供します。このリリースにより、開発者はツールベースのユースケース、RAG、および低レイテンシのオンデバイスアプリケーション向けに、高性能なオープンウェイトモデルをデプロイできるようになります。

Denseモデル：高性能とベンチマークでの競合

Granite 3.0 Denseモデルは、2Bおよび8Bのパラメータサイズで利用可能です。これらのテキスト専用LLMは、12兆トークン以上のデータでトレーニングされており、以前のバージョンと比較して速度とパフォーマンスが大幅に向上しています。

Granite 8B Instructモデルは、OpenLLM Leaderboard v1およびOpenLLM Leaderboard v2の両方のベンチマークにおいて、Llama 3.1 8B Instructに匹敵するパフォーマンスを発揮します。

Mixture of Experts (MoE)モデル：低レイテンシに最適化

IBMは、Graniteファミリー初のMixture of Experts (MoE)モデルを導入しました。これらは1Bおよび3Bのパラメータサイズで利用可能です。これらのモデルは、10兆トークン以上のデータでトレーニングされています。

MoEアーキテクチャにより、これらのモデルは低レイテンシでの使用向けに設計されており、オンデバイスアプリケーションや即時の推論が必要なシナリオでのデプロイに最適です。

コア機能とユースケース

IBM Granite কীভাবে support する design されています。主な機能は以下の通りです：

• Content Processing: 要約、テキスト分類、およびテキスト抽出。
• Technical Tasks: コード生成、翻訳、バグ修正、およびfunction-calling。
• Question Answering: 一般的な質問回答および多言語対話のユースケース。

Ollama経由でのデプロイ

ユーザーは以下のOllamaコマンドを使用して、これらのモデルを実行できます：

• Dense 2B: ollama run granite3-dense
• Dense 8B: ollama run granite3-dense:8b
• MoE 1B: ollama run granite3-moe
• MoE 3B: ollama run granite3-moe:3b