在本地使用 Ollama 執行 Code Llama
簡要重點
Meta 發布了 Code Llama,這是一個基於 Llama 2 的開源模型,專為程式設計任務而設計,而 Ollama 讓使用者能透過簡單指令在本地運行此模型。
## 概述
Code Llama 在開源模型中表現出最頂尖的效能,具備填補(infilling)功能,支援大規模輸入上下文,並能遵循零樣本指令完成程式設計任務。
## 模型變體
提供三種基礎規模:70 億、130 億和 340 億參數。每種規模皆有基礎模型變體與專注於 Python 的變體。
## 如何使用 Ollama 執行
要於本地執行基礎模型,請使用 ollama run 指令並搭配對應的標籤:
- ollama run codellama:7b
- ollama run codellama:13b
- ollama run codellama:34b
若要下載基礎模型或專注於 Python 的版本,請使用 ollama pull 搭配對應標籤:
- 基礎模型:ollama pull codellama:7b-code,ollama pull codellama:13b-code,ollama pull codellama:34b-code
- Python 專用版本:ollama pull codellama:7b-python,ollama pull codellama:13b-python,ollama pull codellama:34b-python
## 使用範例
以下範例展示模型回答 Bash 問題的能力:
<br>在 Bash 中,如何列出目前目錄(不含子目錄)中過去一個月內被修改過的所有文字檔案?<br>
## 意義
透過 Ollama 讓 Code Llama 可在本地硬體上執行,開發者無需依賴遠端 API,即可實驗最新的開源程式碼模型,進而實現離線測試,並整合至本地開發工作流程中。
相關
- 專案
ollama/ollamaOllama 是一個跨平台執行環境,可讓您下載並在本地運行開源大型語言模型。它提供 CLI、本機主機:11434 的 REST API、官方 Python/JS SDK,以及許多社群整合(Web UI、LangChain、AutoGPT 等)。透過一行指令或 Docker 安裝後,可執行 `ollama run gemma4` 或使用 `ollama launch` 連接到程式碼助理或個人機器人。
- Dispatch
Ollama launch command 發布Ollama 在 0.15+ 版本中推出了 'ollama launch' 指令,讓使用者無需手動設定環境變數或設定檔,即可設定並運行 Claude Code 和 OpenCode 等開發工具。
- Dispatch
Code Llama 發布說明Code Llama 是一系列基於 Llama 2 的開放存取模型,專門用於代碼任務,支援填充以及最多達 100,000 個 token 的長上下文窗口。
- Dispatch
- Dispatch
Llama 3 在 Ollama 上可用Ollama 已發布對 Llama 3 的支援,提供 8B 和 70B 參數模型的存取,與 Llama 2 相比,在訓練數據、上下文長度和 token 效率方面都有顯著改進。