Llama 3.2 リリースノート: マルチモーダルビジョンとオンデバイス小型言語モデル
Meta は Llama 3.2 をリリースしました。これは 10 個のオープンウェイトモデルのコレクションで、マルチモーダルビジョン機能と軽量なオンデバイステキストモデルを導入します。このリリースにより、Llama エコシステムは視覚的推論とモバイル・エッジデバイス向けの効率的なローカル実行を含むよう拡張されます。
Llama 3.2 Vision: マルチモーダル機能
Llama 3.2 Vision は視覚的理解と推論を提供し、文書質問応答、画像‑テキスト検索、視覚的グラウンディングといったタスクを可能にします。モデルは 11B（コンシューマ向け GPU デプロイ用）と 90B（大規模アプリケーション用）の 2 つのサイズで提供され、どちらもベースと指示チューニング版があります。
技術アーキテクチャ
Llama 3.2 Vision モデルは、Llama 3.1 の LLM にビジョンタワーと画像アダプタを組み合わせて構築されています。具体的には、11B Vision モデルは Llama 3.1 8B を、90B Vision モデルは Llama 3.1 70B を使用しています。テキストのみの性能を維持するため、ビジョン訓練プロセス中はテキストモデルを凍結しました。
主な仕様と性能
- コンテキスト長: 128k トークン、画像付きのマルチターン会話をサポート。
- 学習データ: 60 億枚の画像‑テキストペアで学習。
- 画像処理: 11B ベースモデルはタイルサイズ 448、90B とすべての指示チューニング版はタイルサイズ 560 を使用。
- 言語サポート: テキストのみモードでは、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語の 8 言語をサポート。
ビジョンベンチマーク
| モデル | MMMU (val) | VQAv2 | DocVQA | AI2D |
|---|---|---|---|---|
| 11B | 41.7 | 66.8 (val) | 62.3 (val) | 62.4 |
| 11B (Instruct) | 50.7 (CoT) | 75.2 (test) | 88.4 (test) | 91.1 |
| 90B | 49.3 (zero-shot) | 73.6 (val) | 70.7 (val) | 75.3 |
| 90B (Instruct) | 60.3 (CoT) | 78.1 (test) | 90.1 (test) | 92.3 |
Llama 3.2 1B と 3B: オンデバイステキストモデル
Llama 3.2 は、ローカルデバイス上での実行を想定した 1B と 3B のテキスト専用モデルを導入します。これらのモデルは、プロンプト書き換え、要約、ツール使用、ローカルで動作するアシスタントなどのユースケースを対象としています。
性能と学習
これらのモデルは Llama 3.1 アーキテクチャを踏襲し、最大 9 兆トークンで学習されました。128k トークンのコンテキスト長を維持し、ビジョンモデルと同じ 8 言語をサポートします。
特筆すべきは、3B Instruct モデルが IFEval ベンチマークで 8B モデルと同等の性能を示す点で、厳格な指示遵守が求められるエージェントアプリケーションに非常に有効です。
推論時のメモリ要件
| モデルサイズ | BF16/FP16 | FP8 | INT4 |
|---|---|---|---|
| 3B | 6.5 GB | 3.2 GB | 1.75 GB |
| 1B | 2.5 GB | 1.25 GB | 0.75 GB |
Llama Guard 3: 安全性とガード機能
Meta は安全性のためにモデル入力と生成物を分類する Llama Guard 3 をリリースしました。主な機能は次のとおりです。
- マルチモーダルサポート: 主力の Llama Guard 3 は有害なマルチモーダルプロンプトやアシスタント応答を検出できます。
- Llama Guard 3 1B: 1B と 3B テキストモデルと共にデプロイできる小型バージョンで、マルチターン会話における応答を評価します。このバージョンは開発者が事前定義された安全カテゴリをカスタマイズまたは除外できるようにします。
デプロイとエコシステム統合
Llama 3.2 は複数のフレームワークに統合され、即時デプロイが可能です。
- Hugging Face Transformers: Vision モデルにはバージョン 4.45.0 以降が必要です。
- オンデバイスフレームワーク:
- Llama.cpp & Llama-cpp-python: 4 ビット・8 ビット量子化ウェイトでクロスプラットフォーム CPU/GPU 推論をサポート。
- Transformers.js: ONNX を介してブラウザや JavaScript ランタイム（Node.js、Deno、Bun）で実行可能。
- MLC.ai Web-LLM: WebGPU を利用したハードウェアアクセラレートされたブラウザ内推論を提供。
- ファインチューニング: テキスト・ビジョン両モデルとも TRL（Transformer Reinforcement Learning）でサポートされ、PEFT を用いた LoRA ファインチューニングも可能です。
ライセンス制限
Llama 3.2 は Llama 3.1 と同様のライセンス形態を採りますが、重要な例外があります。欧州連合（EU）に所在する個人または企業は、Llama 3.2 に含まれるマルチモーダルモデルを使用するライセンス権が付与されません。この制限は、これらのモデルを組み込んだ製品のエンドユーザーには適用されません。