在本地使用 Ollama 執行 Code Llama

簡要重點
Meta 發布了 Code Llama,這是一個基於 Llama 2 的開源模型,專為程式設計任務而設計,而 Ollama 讓使用者能透過簡單指令在本地運行此模型。

## 概述
Code Llama 在開源模型中表現出最頂尖的效能,具備填補(infilling)功能,支援大規模輸入上下文,並能遵循零樣本指令完成程式設計任務。

## 模型變體
提供三種基礎規模:70 億、130 億和 340 億參數。每種規模皆有基礎模型變體與專注於 Python 的變體。

## 如何使用 Ollama 執行
要於本地執行基礎模型,請使用 ollama run 指令並搭配對應的標籤:
- ollama run codellama:7b
- ollama run codellama:13b
- ollama run codellama:34b

若要下載基礎模型或專注於 Python 的版本,請使用 ollama pull 搭配對應標籤:
- 基礎模型:ollama pull codellama:7b-codeollama pull codellama:13b-codeollama pull codellama:34b-code
- Python 專用版本:ollama pull codellama:7b-pythonollama pull codellama:13b-pythonollama pull codellama:34b-python

## 使用範例
以下範例展示模型回答 Bash 問題的能力:
<br>在 Bash 中,如何列出目前目錄(不含子目錄)中過去一個月內被修改過的所有文字檔案?<br>

## 意義
透過 Ollama 讓 Code Llama 可在本地硬體上執行,開發者無需依賴遠端 API,即可實驗最新的開源程式碼模型,進而實現離線測試,並整合至本地開發工作流程中。

Sources

相關

  • 專案
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch