OllamaでのLlama 3の利用可能性

Llama 3は、現在Ollamaを介してローカルで実行できるようになりました。このリリースにより、ユーザーはMetaから提供される最も有能なオープン利用可能なモデルをデプロイできるようになります。これはLlama 2シリーズと比較して、アーキテクチャとトレーニングにおいて大幅な改善を実現しています。

Llama 2と比較した技術的改善点

Llama 3は、Llama 2と比較してパフォーマンスと効率を向上させるいくつかの主要な技術的進歩を導入しています：

  • 拡張されたトレーニングデータセット: Llama 3は、Llama 2で使用されたものよりも7倍大きいデータセットでトレーニングされました。
  • コンテキストウィンドウの拡大: コンテキスト長は8Kトークンから16Kトークンへと倍増しました。
  • 強化されたトークナイゼーション: モデルは128Kトークンのより大きなトークン語彙を使用しており、言語をより効率的にエンコードできます。
  • 拒否の減少: Llama 3は、Llama 2で発生した誤った「拒否」の割合が3分の1未満に減少しています。

利用可能なモデルサイズ

Ollamaは、異なるハードウェア能力に対応するため、初期のLlama 3モデルサイズとして2つのモデルを提供しています：

  • 8B パラメータ: ollama run llama3:8b コマンドを使用して実行します。
  • comando run llama3:70b
  • 70B パラメータ: ollama run llama3:70b コマンドを使用して実行します。

AIツールとの統合

Llama 3は、LangChainやLlamaIndexのような人気のあるフレームワークを使用してアプリケーションに統合できます。

LangChainとの統合

LangChainでLlama 3を使用するには、langchain_community.llms から Ollama クラスを利用してください：

from langchain_community.llms import Ollama
llm = Ollama(model="llama3")
llm.invoke("Why is the sky blue?")

LlamaIndexとの統合

LlamaIndexでLlama 3を使用するには、llama_index.llms.ollama から Ollama クラスを使用します：

from llama_index.llms.ollama import Ollama
llm = Ollama(model="llama3")
llm.complete("Why is the sky blue?")

Llama 3の今後のリリース

Metaは、追加のモデルでLlama 3ファミリーを拡張する計画です。今後のリリースには、400Bパラメータのモデルや、マルチモーダル性、多言語会話機能、および大幅に長いコンテキストウィンドウを備えたその他のバージョンが含まれる予定です。

Sources

関連