Ollama LLaVA 1.6 視覚モデルのサポート

Ollama は、大規模な言語・視覚アシスタント（LLaVA）1.6 モデルのコレクションを統合し、ユーザーに高解像度の画像、強化された推論能力、およびより広範なモデルサイズの選択を提供しています。このアップデートにより、Ollama エコシステム内での画像分析の詳細度が向上し、テキスト認識の精度も向上します。

LLaVA 1.6 の技術的進化

LLaVA 1.6 は、以前のバージョンと比較して以下の3つの主な改善を実現しています。

画像解像度の向上: モデルは最大4倍のピクセル数をサポートするようになり、画像内の細部をより正確に捉え、解釈できるようになりました。
推論能力とOCRの強化: ドキュメント、チャート、図表に特化した追加データセットで訓練されたため、テキスト認識と論理的推論能力が向上しました。
許可の緩和: LLaVA 1.6 は Apache 2.0 ライセンスまたは LLaMA 2 Community License の下で配布されています。

利用可能なモデルサイズ

Ollama は、パフォーマンスとハードウェア制約のバランスを考慮して、LLaVA 1.6 を3つの異なるパラメータサイズで提供しています。

7B: ollama run llava:7b
13B: ollama run llava:13b
34B: ollama run llava:34b（新サイズ）

実装と利用方法

Ollama の視覚モデルは、コマンドラインインターフェース（CLI）、Python、または JavaScript を通じて操作できます。

CLI 連携

ユーザーは、.jpg および .png 形式をサポートする画像ファイルを、コマンドライン上でファイルパスとして直接渡すことができます。

ollama run llava "describe this image: ./art.jpg"

プログラムによるアクセス

Ollama の Python や JavaScript ライブラリ、または REST API を使用する開発者は、画像をファイルパスまたは images パラメータ内の base64 エンコードされた形式で提供できます。

Python の例:

import ollama

res = ollama.chat(
    model="llava",
    messages=[
        {
            'role': 'user',
            'content': 'Describe this image:',
            'images': ['./art.jpg']
        }
    ]
)

print(res['message']['content'])

JavaScript の例:

import ollama from 'ollama'

const res = await ollama.chat({
    model: 'llava',
    messages: [{
        role: 'user',
        content: 'Describe this image:',
        images: ['./art.jpg']
    }]
})

console.log(res.message.content)

視覚機能と利用事例

LLaVA 1.6 は、以下の2つの主要な視覚タスクにおいて優れた性能を発揮しています。

物体検出: モデルは対象物を識別し、その行動や感情を説明できます。たとえば、VRゲーム機器を使用している人物を識別し、その体験への没入感を指摘できます。
テキスト認識（OCR）: LLaVA 1.6 モデルは、画像内の太字や装飾されたテキストを正確に識別できます。たとえば、高コントラストな画像で「ollama」という単語を識別できます。