containers/ramalama

RamaLama is an open-source developer tool that simplifies the local serving of AI models from any source and facilitates their use for inference in production, all through the familiar language of containers.

What it solves

RamaLama는 AI 모델을 OCI 컨테이너처럼 취급함으로써 로컬 배포와 서비스를 단순화합니다. 대형 언어 모델(LLM)을 로컬에서 실행할 때 일반적으로 필요한 복잡한 호스트 시스템 의존성, GPU 드라이버 및 하드웨어 최적화 설정을 사용자가 직접 구성할 필요가 없습니다.

How it works

RamaLama는 호스트 시스템의 GPU(NVIDIA, AMD, Intel, Apple Silicon 등)를 감지하고, 필요한 소프트웨어(예: llama.cpp 또는 vLLM)를 포함한 해당 가속 컨테이너 이미지를 자동으로 가져옵니다. 이후 Hugging Face, ModelScope, Ollama 또는 OCI 레지스트리와 같은 다양한 레지스트리에서 AI 모델을 풀링하고, 격리된 rootless 컨테이너에서 실행합니다. macOS 사용자를 위해서는 컨테이너 없이 Apple Silicon 최적화 추론을 위한 MLX 런타임도 지원합니다.

Who it’s for

Podman이나 Docker와 같은 친숙한 컨테이너 중심 개발 패턴을 사용하면서 로컬에서 AI 모델을 실행하고자 하는 엔지니어와 개발자를 위해 설계되었습니다. 보안과 하드웨어 가속을 보장합니다.

Highlights

  • Hardware Auto-Detection: 감지된 GPU(CUDA, ROCm, Vulkan 등)에 따라 올바른 컨테이너 이미지를 자동으로 선택합니다.
  • Container Isolation: 모델은 rootless 컨테이너에서 실행되며 기본적으로 네트워크 접근이 차단되고, 읽기 전용 볼륨 마운트를 통해 호스트 시스템 유출이나 변경을 방지합니다.
  • Multi-Registry Support: Hugging Face, ModelScope, Ollama 및 OCI 레지스트리에서 모델을 풀링할 수 있습니다.
  • Flexible Interaction: 챗봇 인터페이스 또는 REST API를 통해 모델과 상호 작용할 수 있습니다.
  • Model Conversion: 로컬 모델이나 GGUF 파일을 OCI 이미지로 변환하여 배포를 용이하게 합니다.