Llama 3 在 Ollama 上可用

Llama 3 現在可以透過 Ollama 在本地端執行。此版本讓使用者能夠部署來自 Meta 最強大的開放模型，與 Llama 2 系列相比，在架構與訓練方面都有顯著的改進。

Technical Improvements over Llama 2

與 Llama 2 相比，Llama 3 引入了幾項關鍵的技術進步，提升了其性能與效能效率：

  • Expanded Training Dataset: Llama 3 的訓練數據集比 Llama 2 使用的數據集大了七倍。
  • Increased Context Window: 上下文長度從 8K tokens 增加了一倍，達到 16K tokens。
  • Enhanced Tokenization: 該模型使用 128K tokens 的較大詞彙表，使其能夠更有效地編碼語言。
  • Reduced Refusals: Llama 3 的錯誤「拒絕」次數比 Llama 2 少於三分之一。

Available Model Sizes

Ollama 提供兩種初始的 Llama 3 模型大小，以適應不同的硬體能力：

  • 8B Parameters: 使用指令 ollama run llama3:8b 執行。
  • comando run llama3:70b
  • 70B Parameters: 使用指令 ollama run llama3:70b 執行。

Integration with AI Tooling

Llama 3 可以整合進使用 LangChain 和 LlamaIndex 等熱門框架的應用程式中。

LangChain Integration

若要在 LangChain 中使用 Llama 3，請使用 langchain_community.llms 中的 Ollama 類別：

from langchain_community.llms import Ollama
llm = Ollama(model="llama3")
llm.invoke("Why is the sky blue?")

LlamaIndex Integration

若要在 LlamaIndex 中使用 Llama 3，則使用 llama_index.llms.ollama 中的 Ollama 類別：

from llama_index.llms.ollama import Ollama
llm = Ollama(model="llama3")
llm.complete("Why is the sky blue?")

Future Llama 3 Releases

Meta 計畫透過增加更多模型來擴展 Llama 3 系列。未來的版本將包括一個 400B 參數模型，以及其他具有多模態、多語言對話能力和顯著更長上下文窗口的版本。

Sources

相關