Granite Switch 4.1: チャット、意思決定、音声を単一のエンドポイントから

要約: IBM の Granite Switch 4.1 リリースは、チャット、一般的および専門的な意思決定、音声認識を、単一の 8B および 30B モデルエンドポイントにパッケージ化します。このリリースが重要なのは、ベースモデルを超える GPU メモリを追加することなくこれらの機能を追加し、OpenASR リーダーボードで最速の ASR モデルをベース LLM とともに利用可能にするためです。

Granite Switch 4.1 に含まれるもの

Granite Switch 4.1 は、Granite Switch プロジェクトが導入したモジュール式モデル構成アプローチです。4.1 リリースでは、Granite-Switch-4.1-8B および Granite-Switch-4.1-30B モデルが、次の 3 つの追加機能で構成されています: 汎用意思決定用の新しい Decision aLoRA（例: v1/systemone）、安全性関連の意思決定タスク用の専門 Guardian aLoRA、および文字起こし用の Granite-Speech-5.0-Turbo-CTC。これら 3 つのテクノロジーと基盤となるベースモデルは、すべて 1 つのモデルに構成されています。

Decision および Guardian アダプター

Decision aLoRA は、汎用の意思決定を処理します。Guardian aLoRA は安全性関連の意思決定タスクに特化しており、平均して Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、Clef-Flash よりも優れています。この投稿では、これらのアダプターをより広範な意思決定モデル戦略の一部として位置付けています: Granite Libraries はすでに、カスタム Granite Switch モデルに構成できる専門的な意思決定モデルアダプターおよびその他の専門タスクアダプターのリポジトリを提供しています。Jev や他のクローズドな意思決定モデルが汎用性に焦点を当てている一方で、専門的な granitelib アダプターは、専門的な分類タスクにおいて汎用モデルよりも優れたパフォーマンスを発揮できます。

Granite-Speech-5.0-Turbo-CTC による音声認識

Granite-Speech-5.0-Turbo-CTC は、OpenASR リーダーボードで最速の ASR モデルとして説明されています。これは Granite Switch 4.1 に組み込まれており、文字起こしタスクに使用されます。同一場所に配置された ASR エンコーダーにより、モデルはチャット、意思決定、音声リクエストを切り替えることができます。Speech-to-Decisions Hugging Face スペースは、granite-switch-4.1-8b が音声の文字起こし、要約の生成、有害コンテンツのスクリーニング、および他の 15 のユーザー定義フラグのテストをすべて単一のエンドポイントでリアルタイムに実行することを示しています。

効率性: 単一エンドポイント、ベースモデルの VRAM、KV キャッシュ再利用

Granite Switch 4.1 は、ベースモデルとアダプターを、GPU 上のベースモデル単体が使用するのとほぼ同じ量の VRAM に構成します。つまり、より少ない GPU でより多くの機能を実現できます。Switch アダプターはキャッシュ効率の良い Activated LoRA として構築されているため、ベースモデルの生成から作成された KV キャッシュは、後続のアダプターベースの意思決定に再利用できます。このリリースには、低ランクアダプターの推論を高速化する最近の vLLM の貢献も組み込まれています。アダプターはベースモデルの KV キャッシュを共有するため、汎用の意思決定アダプターと一緒に専門家を追加するコストはほぼゼロです。これにより、汎用モデルからの広いカバレッジと、重要なタスクにおける専門家からの高い精度が得られます。

パフォーマンス比較: RAG ワークフローと Doom

Granite-Switch-4.1-30B（凍結されたベース Granite と 4 つの専門 aLoRA）と Jev-27B（凍結されたベース Qwen モデルと 1 つの汎用 Decision LoRA）のレースでは、Granite-Switch-4.1-30B は実際の 5 ステップの RAG ワークフローを競合他社よりもはるかに高速に完了しました。別のデモでは、カスタム 3B パラメータ Granite Switch モデルが、古典的なゲーム Doom を毎秒 60〜100 回の意思決定でナビゲートするための瞬間的な意思決定を行い、Jev の報告された毎秒 10 回の意思決定と比較されました。Jev とは異なり、この Granite Switch モデルは、プレイ中にナレーションをしたり、質問に答えたりすることもできます。

独自の Granite Switch モデルを構成する

Granite-Switch-4.1-8B および -30B は、便利なアダプターの事前定義されたセットとして「バッテリー同梱」でリリースされています。ユーザーはその正確な構成を使用する必要はありません。Granite Libraries のアダプターを組み合わせて、独自の Granite Switch モデルを構成できます。Granite チームは、Mellea でアダプターをトレーニングするための Adapter SDK を、他のチュートリアルや Granite Switch サポートとともにリリースする予定です。これらのアダプターは、意思決定ベースのワークフローを強化するための専門的な分類アダプターや、専門的な言語タスク用のアダプターである可能性があります。この投稿では、カスタムアダプターが 3B パラメータバージョンの Granite に Doom をプレイすることを教えることさえできると述べています。Granite Switch に関する詳細とデータは、今後数週間以内にリリースされる予定です。

開始するためのリソース

Sources