使用 Ollama 在本地运行 Code Llama
TL;DR
Meta 发布了 Code Llama,这是一个基于 Llama 2 的用于编程任务的开源模型,而 Ollama 使其能够通过简单的命令在本地运行。
## 概述
Code Llama 在开源模型中提供先进的性能,包括填充(infilling)能力,支持大型输入上下文,并能遵循编程任务中的零样本指令。
## 模型变体
提供三种基础尺寸:70 亿、130 亿和 340 亿参数。每种尺寸也都有基础模型变体和 Python 专用变体。
## 如何使用 Ollama 运行
要是在本地运行基础模型,请使用带有 appropriate 标签的 ollama run 命令:
ollama run codellama:7b
-ollama run codellama:13b
-ollama run codellama:34b
要拉取基础模型或 Python 专用版本,请使用带有相应标签的ollama pull命令:- 基础模型:
ollama pull codellama:7b-code,ollama pull codellama:13b-code,ollama pull codellama:34b-code
- Python 专用版本:ollama pull codellama:7b-python,ollama pull codellama:13b-python,ollama pull codellama:34b-python
## 使用示例 一个示例提示词展示了模型回答 Bash 问题的能力:
In Bash, how do I list all text files in the current directory (excluding subdirectories) that have been modified in the last month?
意义
通过使 Code Llama 能够在通过 Ollama 在本地硬件上运行,开发者可以尝试先进的开源-code 模型,而无需依赖远程 API,从而实现离线实验和集成到本地开发工作流中。
Sources
- OriginalRun Code Llama locally
相关
- 项目
- Dispatch
- Dispatch
- Dispatch
- Dispatch