Ollama로 Code Llama 로컬에서 실행하기
요약
Meta가 프로그래밍 작업을 위한 Llama 2 기반 오픈 모델인 Code Llama를 출시했으며, Ollama를 통해 간단한 명령어로 로컬에서 실행할 수 있게 되었습니다.
## 개요
Code Llama는 오픈 모델 중에서 최첨단 성능을 제공하며, 인필링(infilling) 기능을 포함하고, 대규모 입력 컨텍스트를 지원하며, 프로그래밍 작업을 위한 제로샷 지침을 따릅니다.
## 모델 변형
세 가지 기본 크기가 제공됩니다: 7 billion, 13 billion, 34 billion 파라미터. 각 크기에는 파운데이션 모델 변형과 Python 특화 변형이 있습니다.
## Ollama로 실행하는 방법
기본 모델을 로컬에서 실행하려면 적절한 태그와 함께 ollama run 명령어를 사용하세요:
- ollama run codellama:7b
- ollama run codellama:13b
- ollama run codellama:34b
파운데이션 모델 또는 Python 특화 버전을 가져오려면 해당 태그와 함께 ollama pull을 사용하세요:
- Foundation models: ollama pull codellama:7b-code, ollama pull codellama:13b-code, ollama pull codellama:34b-code
- Python specializations: ollama pull codellama:7b-python, ollama pull codellama:13b-python, ollama pull codellama:34b-python
## 사용 예시
샘플 프롬프트는 Bash 질문에 답하는 모델의 능력을 보여줍니다:
```
In Bash, how do I list all text files in the current directory (excluding subdirectories) that have been modified in the last month?
## 시사점<br>Ollama를 통해 Code Llama를 로컬 하드웨어에서 실행할 수 있게 됨으로써, 개발자는 원격 API에 의존하지 않고 최첨단 오픈 코드 모델을 실험할 수 있으며, 이는 오프라인 실험 및 로컬 개발 워크플로우로의 통합을 가능하게 합니다.
Sources
- OriginalRun Code Llama locally
관련
- 프로젝트
- Dispatch
- Dispatch
- Dispatch
- Dispatch