Ollamaを使用してCode Llamaをローカルで実行する
TL;DR
Metaは、プログラミングタスク向けにLlama 2をベースとしたオープンモデルであるCode Llamaをリリースしました。Ollamaを使用することで、簡単なコマンドでローカル実行が可能になります。
## 概要
Code Llamaは、オープンモデルの中で最先端のパフォーマンスを提供し、インフィリング(穴埋め)機能、大規模な入力コンテキストのサポート、プログラミングタスクにおけるゼロショット指示への対応を含んでいます。
## モデルのバリエーション
3つのベースサイズが利用可能です:7 billion、13 billion、および34 billionパラメータ。各サイズには、ベースモデル(foundation-model)のバリエーションとPython特化型のバリエーションがあります。
## Ollamaでの実行方法
ベースモデルをローカルで実行するには、適切なタグを使用して ollama run コマンドを使用します:
ollama run codellama:7b
- ollama run codellama:13b
- ollama run codellama:34b
ベースモデルまたはPython特化型バージョンをプルするには、対応するタグを使用して ollama pull を使用します:
- Foundation models:
ollama pull codellama:7b-code, ollama pull codellama:13b-code, ollama pull codellama:34b-code
- Python specializations: ollama pull codellama:7b-python, ollama pull codellama:13b-python, ollama pull codellama:34b-python
## 使用例
サンプルプロンプトは、Bashの質問に回答するモデルの能力を示しています:
In Bash, how do I list all text files in the current directory (excluding subdirectories) that have been modified in the last month?
影響
Ollamaを通じてCode Llamaをローカルハードウェアで実行可能にすることで、開発者はリモートAPIに依存することなく、最先端のオープンなコードモデルを試用することができ、オフラインでの実験やローカルの開発ワークフローへの統合が可能になります。
関連
- プロジェクト
ollama/ollamaOllamaは、クロスプラットフォームのランタイムで、ローカルにオープンソースの大規模言語モデル(LLM)をダウンロードして実行できます。CLI、ローカルホスト:11434のREST API、公式のPython/JS SDK、および多数のコミュニティ統合(Web UI、LangChain、AutoGPTなど)を提供します。ワンラインスクリプトまたはDockerでインストール後、`ollama run gemma4`のようにモデルを起動したり、`ollama launch`でコーディングアシスタントや個人用ボットに接続できます。
- Dispatch
Ollama launch コマンドのリリースOllamaはバージョン0.15+において、'ollama launch' コマンドを導入しました。これにより、ユーザーは手動の環境変数や設定ファイルなしで、Claude CodeやOpenCodeなどのコーディングツールをセットアップして実行できるようになります。
- Dispatch
Code Llama リリースノートCode Llamaは、Llama 2に基づくオープンアクセスモデルのファミリーであり、インフィリングおよび最大100,000トークンのロングコンテキストウィンドウをサポートし、コーディングタスクに特化しています。
- Dispatch
- Dispatch
OllamaでのLlama 3の利用可能性OllamaはLlama 3のサポートをリリースし、Llama 2と比較してトレーニングデータ、コンテキスト長、およびトークン効率において大幅な改善された8Bおよび70Bパラメータのモデルへのアクセスを提供します。