ollama/ollama

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

Ollama란 무엇인가요?

Ollama는 대규모 언어 모델(LLM)을 로컬에서 실행하기 위한 셀프 호스팅 플랫폼입니다. 명령줄 인터페이스, REST API 및 일련의 통합 기능을 번들로 제공하여 다음을 수행할 수 있습니다:

다운로드 및 실행: 오픈 소스 모델(예: Gemma 4)을 자신의 머신(macOS, Windows, Linux, Docker)에서 실행합니다.
상호 작용: 간단한 ollama run <model> 명령, 채팅 스타일의 REPL 또는 HTTP나 언어별 SDK를 통해 프로그래밍 방식으로 모델과 상호 작용합니다.
연결: 제공된 통합 기능을 사용하여 로컬 모델을 코드 도우미, AI 챗봇, RAG 파이프라인, IDE 확장 등 다른 도구에 연결합니다.

이 프로젝트는 빠른 CPU 전용 추론 엔진인 llama.cpp를 기반으로 구축되었으며, 컨테이너화된 사용을 위한 자체 Docker 이미지를 제공합니다.

왜 중요한가요?

개인정보 보호 및 제어 – 모델이 자신의 하드웨어에서 실행되므로 데이터가 장치를 떠나지 않습니다.
비용 효율성 – 클라우드 API 비용이 들지 않으며, 이미 보유한 컴퓨팅 리소스만 있으면 됩니다.
개방형 생태계 – 계속 성장하는 커뮤니티 통합 목록(웹 UI, 데스크톱 앱, VS Code 확장, RAG 프레임워크 등)을 통해 Ollama를 거의 모든 워크플로우에 연결할 수 있습니다.

시작하기 (빠른 단계)

설치 – 플랫폼별 스크립트(macOS/ Linux) 또는 PowerShell 명령(Windows)을 실행합니다. Docker 이미지도 사용할 수 있습니다.
모델 실행 – ollama run gemma4를 실행하면 Gemma 4 모델이 시작되고 채팅 프롬프트가 열립니다.
API 사용 – model, messages 및 선택적 stream 플래그가 포함된 JSON 페이로드를 http://localhost:11434/api/chat으로 POST 전송합니다.
통합 – 기성 통합 기능(예: Claude Code용 ollama launch claude, 다중 메신저 도우미용 ollama launch openclaw)을 선택하거나 Python, JavaScript, Rust 등의 SDK를 호출합니다.

핵심 기능 (README에 설명된 대로)

기능	설명
크로스 플랫폼 바이너리	macOS, Windows, Linux용 설치 프로그램 및 Docker 이미지.
CLI	`ollama` 명령으로 모델 나열, 풀, 실행 및 관리 가능.
REST API	채팅, 완성, 임베딩, 모델 관리를 위한 HTTP 엔드포인트.
모델 라이브러리	`ollama run <model>`을 통해 공개 카탈로그(예: Gemma 4)에 액세스.
통합	Claude Code, Codex, Copilot CLI, OpenClaw 등을 위한 사전 구축된 시작 명령.
언어 SDK	공식 Python (`ollama-python`) 및 JavaScript (`ollama-js`) 패키지; Go, Rust, .NET, Ruby 등을 위한 다수의 커뮤니티 SDK.
백엔드	빠른 CPU 추론을 위해 `llama.cpp` 사용; GPU 지원 빌드에서도 실행 가능.
광범위한 생태계	수백 개의 커뮤니티 프로젝트: 웹 UI, 데스크톱 클라이언트, VS Code 확장, RAG 프레임워크, 에이전트, 모니터링 도구 및 배포 스크립트.

Ollama는 누가 사용해야 하나요?

개발자: 외부 API에 의존하지 않고 AI 기능을 프로토타이핑하거나 출시하려는 분.
연구원 및 취미 사용자: 로컬에서 오픈 소스 LLM을 실험하는 데 관심이 있는 분.
기업: 데이터 개인정보 보호나 규정 준수를 위해 온프레미스 AI가 필요한 분.
도구 제작자: 채팅 인터페이스, 코드 도우미 또는 RAG 파이프라인을 구동하기 위한 간단하고 통일된 백엔드를 찾는 분.

더 많은 정보 찾기

공식 문서 – CLI 참조, API 사양, 모델 가져오기 가이드 및 개발 노트는 README에서 링크되어 있습니다.
커뮤니티 – Discord, X (Twitter), Reddit 및 다수의 타사 통합(웹 UI, 데스크톱 앱, IDE 플러그인, 에이전트 프레임워크 등).
소스 코드 – 저장소에는 소스에서 Ollama를 빌드하기 위한 docs/development.md가 포함되어 있습니다.

요약

Ollama는 LLM을 자신의 하드웨어에서 실행할 수 있는 실용적인 오픈 소스 방법입니다. CLI, REST API 및 풍부한 통합 생태계를 제공하여 데이터를 클라우드로 보내지 않고도 로컬 모델을 채팅 도우미, 코드 도우미, RAG 파이프라인 등으로 전환할 수 있습니다.