OllamaにおけるLlama 3.2のサポート

MetaのLlama 3.2が、Ollamaを通じてローカルで実行可能になりました。このリリースにより、デバイス上のエージェント向けの軽量なテキストのみのモデルのデプロイが可能になり、マルチモーダルなビジョンモデルへの道が開かれました。

エッジデバイス向けの軽量なテキストのみのモデル

Llama 3.2では、モバイルやエッジデバイス上でのローカル実行に特化して最適化された、1Bおよび3Bパラメータのモデルが導入されています。これらのモデルは、高速で即時的なレスポンスと、パーソナライズされたデバイス上のエージェントの作成を目的として設計されています。

1Bおよび3Bモデルの主なユースケース

これらのテキストのみのモデルは、以下のようなタスクに適しています：

• WhatsAppで受信した直近10件のメッセージなどの、最近のコミュニケーションの要約。
• ユーザーの来月のスケジュールの要約。

Ollamaはこれらのモデルをローカルで処理するため、メッセージやスケジュールを含むユーザーデータはサードパーティのクラウドサービスに送信されず、プライバシーが確保されます。

マルチモーダルなビジョン機能

Ollamaは間もなく、11Bおよび90BのLlama 3.2モデルをサポートする予定です。これらの大型モデルは画像推論をサポートしており、以下のようなタスクを実行できます：

• チャートやグラフの分析を含む、ドキュメントレベルの理解。
• 画像のキャプション生成。

デプロイ手順

Llama 3.2を使用するには、Ollamaをダウンロードして以下のコマンドを実行する必要があります：

• 3Bモデル（デフォルト）の場合： ollama run llama3.2
• 1Bモデルの場合： ollama run llama3.2:1b