Ollama Cloud Models Preview

Ollama는 클라우드 모델 프리뷰를 출시하여, 사용자가 로컬 하드웨어 용량에 구애받지 않고 데이터센터급 하드웨어에서 거대한 대규모 언어 모델(LLM)을 실행할 수 있도록 합니다. 이번 업데이트를 통해 사용자 데이터를 보유하지 않는 정책을 통해 개인정보를 보호하면서, 로컬과 클라우드 기반 추론 간의 원활한 전환이 가능해집니다.

High-Performance Hardware for Large-Scale Models

Ollama Cloud는 일반적인 개인용 컴퓨터에 담기에는 너무 큰 모델에 대한 접근을 제공합니다. 컴퓨팅을 클라우드로 오프로딩함으로써, 사용자는 기존의 로컬 Ollama 도구와 워크플로우를 계속 사용하면서도 빠르고 데이터센터급인 하드웨어를 활용할 수 있습니다.

Model Availability and Versioning

클라우드 모델을 사용하려면 Ollama v0.12 이상을 실행 중이어야 합니다. 현재 클라우드 프리뷰에서 사용 가능한 모델은 다음과 같습니다:

  • qwen3-coder:480b-cloud
  • gpt-oss:120b-cloud
  • gpt-oss:20b-cloud
  • deepseek-v3.1:671b-cloud

Integration and API Compatibility

클라우드 모델은 Ollama 생태계 내에서 표준 로컬 모델처럼 동작하도록 설계되었습니다. ollama ls, ollama run, ollama pull, ollama cp와 같은 기존 CLI 명령과 통합됩니다.

API Access Methods

Ollama Cloud 모델은 여러 인터페이스를 통해 접근할 수 있습니다:

  1. OpenAI-compatible API: 클라우드 모델은 Ollama의 OpenAI-compatible API를 통해 작동합니다.
  2. Ollama Libraries: 공식 JavaScript (npm install ollama) 및 Python (pip install ollama) 라이브러리가 클라우드 모델을 지원합니다.
  3. Direct API: 모델은 ollama.com API를 통해 직접 접근할 수 있습니다.
  4. cURL: 모델을 pull한 후에는 http://localhost:11434/api/chat으로 표준 REST 호출을 사용하여 클라우드 모델과 상호작용할 수 있습니다.

Authentication and Privacy

추론 컴퓨팅이 ollama.com에서 호스팅되므로 클라우드 모델에 접근하려면 인증이 필요합니다. 사용자는 세션을 관리하기 위해 다음 명령을 사용해야 합니다:

  • Sign In: ollama signin
  • Sign Out: ollama signout

보안과 관련하여, Ollama는 개인정보 보호와 보안을 보장하기 위해 클라우드 서비스가 사용자 데이터를 보유하지 않는다고 밝히고 있습니다.

Sources

관련

  • Dispatch
  • 프로젝트
  • Dispatch
  • 프로젝트
  • Dispatch