使用 Ollama 在本地运行 Code Llama

TL;DR
Meta 发布了 Code Llama,这是一个基于 Llama 2 的用于编程任务的开源模型,而 Ollama 使其能够通过简单的命令在本地运行。

## 概述
Code Llama 在开源模型中提供先进的性能,包括填充(infilling)能力,支持大型输入上下文,并能遵循编程任务中的零样本指令。

## 模型变体

提供三种基础尺寸:70 亿、130 亿和 340 亿参数。每种尺寸也都有基础模型变体和 Python 专用变体。

## 如何使用 Ollama 运行 要是在本地运行基础模型,请使用带有 appropriate 标签的 ollama run 命令:

  • ollama run codellama:7b
    - ollama run codellama:13b
    - ollama run codellama:34b

    要拉取基础模型或 Python 专用版本,请使用带有相应标签的 ollama pull 命令:
  • 基础模型:ollama pull codellama:7b-code, ollama pull codellama:13b-code, ollama pull codellama:34b-code
    - Python 专用版本:ollama pull codellama:7b-python, ollama pull codellama:13b-python, ollama pull codellama:34b-python

    ## 使用示例 一个示例提示词展示了模型回答 Bash 问题的能力:
In Bash, how do I list all text files in the current directory (excluding subdirectories) that have been modified in the last month?

意义

通过使 Code Llama 能够在通过 Ollama 在本地硬件上运行,开发者可以尝试先进的开源-code 模型,而无需依赖远程 API,从而实现离线实验和集成到本地开发工作流中。

Sources

相关

  • 项目
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch