containers/ramalama

RamaLama is an open-source developer tool that simplifies the local serving of AI models from any source and facilitates their use for inference in production, all through the familiar language of containers.

What it solves

RamaLama 简化了 AI 模型的本地部署与服务，将模型视为 OCI 容器。它消除了用户手动配置复杂主机系统依赖、GPU 驱动和硬件优化的需求，这些通常是本地运行大型语言模型（LLM）所必需的。

How it works

RamaLama 检测主机系统的 GPU（NVIDIA、AMD、Intel、Apple Silicon 等），并自动拉取对应的加速容器镜像，内含所需软件（如 llama.cpp 或 vLLM）。随后从各种注册表（Hugging Face、ModelScope、Ollama 或 OCI 注册表）拉取 AI 模型，并在隔离的无根容器中运行。对于 macOS 用户，还支持 MLX 运行时，以在 Apple Silicon 上进行优化推理，无需容器。

Who it’s for

它面向希望使用熟悉的容器化开发模式（如 Podman 或 Docker）在本地运行 AI 模型的工程师和开发者，同时确保安全性和硬件加速。

Highlights

  • Hardware Auto-Detection：自动根据检测到的 GPU（CUDA、ROCm、Vulkan 等）选择正确的容器镜像。
  • Container Isolation：模型在无根容器中运行，默认无网络访问，并以只读卷挂载防止主机系统泄漏或被修改。
  • Multi-Registry Support：支持从 Hugging Face、ModelScope、Ollama 以及 OCI 注册表拉取模型。
  • Flexible Interaction：允许用户通过聊天机器人界面或 REST API 与模型交互。
  • Model Conversion：可以将本地模型或 GGUF 文件转换为 OCI 镜像，以便更容易分发。