Llama 3 在 Ollama 上的可用性

Llama 3 现已可通过 Ollama 在本地运行。此次发布使用户能够部署 Meta 提供的目前最强大的开源模型，这些模型在架构和训练方面相比 Llama 2 系列有显著提升。

相较于 Llama 2 的技术改进

Llama 3 引入了多项关键技术进步，使其性能和性能效率均优于 Llama 2：

  • 扩展的训练数据集： Llama 3 使用的训练数据集规模是 Llama 2 的七倍。
  • 更大的上下文窗口： 上下文长度从 8K 个 token 增加到 16K 个 token。
  • 增强的分词机制： 模型使用了 128K 个 token 的更大词汇表，能够更高效地编码语言。
  • 减少拒绝响应： Llama 3 的错误“拒绝”响应数量不到 Llama 2 的三分之一。

可用模型尺寸

Ollama 提供了两个初始的 Llama 3 模型尺寸，以适应不同的硬件能力：

  • 8B 参数： 使用命令 ollama run llama3:8b 运行。
  • 70B 参数： 使用命令 ollama run llama3:70b 运行。

与 AI 工具链的集成

Llama 3 可通过 LangChain 和 LlamaIndex 等流行框架集成到应用程序中。

LangChain 集成

要使用 Llama 3 与 LangChain，可使用 langchain_community.llms 中的 Ollama 类：

from langchain_community.llms import Ollama
llm = Ollama(model="llama3")
llm.invoke("Why is the sky blue?")

LlamaIndex 集成

要使用 Llama 3 与 LlamaIndex，可使用 llama_index.llms.ollama 中的 Ollama 类：

from llama_index.llms.ollama import Ollama
llm = Ollama(model="llama3")
llm.complete("Why is the sky blue?")

未来的 Llama 3 发布计划

Meta 计划进一步扩展 Llama 3 系列，推出更多模型。未来的发布将包括一个 400B 参数的模型，以及其他具备多模态、多语言对话能力以及显著更长上下文窗口的版本。

Sources

相关