OllamaでLlama 3.2 Visionが利用可能に

Llama 3.2 Visionは、Ollamaを介してローカル実行が可能になり、11Bおよび90Bのパラメータサイズでマルチモーダル機能を提供します。このリリースにより、ユーザーは自身のハードウェア上で画像とテキストを同時に処理できるようになります。

モデルサイズとハードウェア要件

Llama 3.2 Visionは、パフォーマンスとリソースの可用性のバランスをとるために、主に2つの構成で提供されます：

11B モデル: 最低8GBのVRAMが必要です。
90B モデル: 最低64GBのVRAMが必要です。

マルチモーダル機能

Llama 3.2 Visionは、さまざまな視覚的理解タスクをサポートしています。実証された主な機能には以下が含まれます：

手書き文字認識: モデルは手書きのテキストを解釈し、書き起こすことができます。
光学文字認識 (OCR): モデルは画像から印刷されたテキストを抽出できます。
チャートと表: モデルは、グラフ形式や表形式で提示されたデータを分析および解釈できます。
画像に関する質問と回答 (Q&A): モデルは、提供された画像の視覚的内容に基づいて、特定の質問に答えることができます。

実装と使用方法

Llama 3.2 Visionを使用するには、Ollama 0.4がインストールされている必要があります。モデルは、コマンドラインを使用して ollama run llama3.2-vision（11Bバージョン用）または ollama run llama3.2-vision:90b（90Bバージョン用）を実行することでプルおよび実行できます。

ライブラリを介した統合

Ollamaは、Llama 3.2 Visionをアプリケーションに統合するための複数の方法を提供しています：

Python: ollama-python ライブラリを使用すると、messages 配列内で images キーを使用して画像を渡すことができます。
JavaScript: ollama-js ライブラリを使用すると、chat メソッドがメッセージオブジェクト内で画像パスまたはbase64データを取得します。
cURL: APIは、http://localhost:11434/api/chat へのHTTPリクエストを介して直接的な対話が可能であり、画像はbase64エンコードされたデータとして送信されます。

ローカルでの対話

ターミナルでは、ユーザーは画像ファイルをドラッグ＆ドロップするか、Linuxシステムでは画像へのファイルパスを指定することで、プロンプトに画像を追加できます。