llmmanorg/llmman

什么是 llmman？

llmman 是一个命令行工具，可让您在任何模型上运行任何 LLM 风格的代理（Claude Code、Codex、OpenCode、GitHub Copilot 等），无论该模型位于您自己的计算机上还是由云服务提供。它通过封装流行的推理后端（llama.cpp、vLLM、sglang、mlx-lm 等）并公开一个兼容 Ollama 的 HTTP API 来实现这一点。关键思想是将模型视为 OCI 容器镜像，因此您可以使用与 Docker/Podman 镜像相同的工具来拉取、推送、传输和签名它们。

为什么重要

功能	提供的优势
提供商无关	相同的 `launch`、`run`、`serve` 命令适用于本地托管的模型或在 Groq、Baseten、OpenRouter 等上托管的模型。
注册表无关	模型可以存储在任何 OCI 注册表（Docker Hub、GHCR、Quay、私有 Harbor 等）中，或直接从 Hugging Face 存储。没有专有模型存储库。
零转换	使用原始 GGUF 或 safetensors 文件，无需自定义导入步骤。
一键传输	`llmman transfer hf.co/... docker.io/...` 在注册表之间移动模型，而无需接触本地磁盘——这对于隔离环境或合规性要求高的环境非常有用。
聚合	在多台机器上运行 `llmman serve`，它们将形成一个池，因此请求由加载了模型或拥有最多可用内存的节点处理。
统一 API	在单个端口上公开 Ollama、OpenAI 和 Anthropic 端点，因此任何现有客户端（curl、LangChain、VS Code 扩展等）都可以直接使用。
多模态支持	相同的 `run` 命令可以调用扩散模型来生成图像、短视频或音频。
安全性	模型可以使用 cosign 签名；`llmman verify` 在拉取时强制执行信任策略。

核心概念与工作流程

模型作为 OCI 镜像 – 模型文件（GGUF 或 safetensors）被打包到标准 OCI 镜像布局中。拉取、推送或传输模型使用普通容器注册表完成。
后端 – 当需要模型时，llmman 会启动相应的推理引擎：
- 用于 GGUF 模型的 llama.cpp（Docker、预构建二进制文件或 PATH 上的 llama-server）
- 用于 safetensors 的 vLLM、sglang 或 mlx-lm。
CLI 命令 – 最常用的命令有：
- llmman launch <agent> --model <model> – 针对模型启动一个代理（例如 Claude Code），如果需要，会自动启动本地守护进程。
- llmman run <model> [prompt] – 快速聊天或多模态生成。
- llmman serve – 启动一个守护进程，监听 127.0.0.1:17434，支持 Ollama、OpenAI 和 Anthropic API。
- llmman pull/transfer/push/verify – 注册表操作。
聚合 – 使用 llmman config set aggregation.peers ... 配置对等节点。守护进程会将请求转发给能够处理该请求的对等节点。
混合模型对 – 使用 --overflow-provider/--overflow-model 将廉价的本地模型与更大的托管模型结合，以处理溢出请求。
沙箱 – 通过 --sandbox 在隔离环境（Docker、macOS sandbox-exec 等）中运行集成。

谁应该使用它？

开发者 – 希望使用单一工具尝试多个代理和模型，而无需学习每个提供商的 CLI。
运维/MLOps 团队 – 已经运行 OCI 注册表，希望将 LLM 视为其他容器工件，包括签名和隔离传输。
研究人员 – 需要在不同后端上对代理进行基准测试，或混合本地和云推理。
企业 – 需要合规友好的模型处理（注册表到注册表传输、cosign 验证、跨本地硬件的聚合）。

快速开始

# 安装（Linux/macOS）
curl -fsSL https://llmmanorg.github.io/install.sh | sh

# 使用本地模型运行 Claude Code
llmman launch claude --model qwen3.8

# 使用相同模型进行简单聊天
llmman run qwen3.8 "Explain this repository"

# 为任何客户端公开兼容 API
llmman serve   # 现在可以使用 Ollama、OpenAI 或 Anthropic URL

局限性/未解决的问题

Windows 支持 依赖 Docker/Podman 容器或预构建二进制文件；某些后端可能需要额外的工具链（LLVM、Rust）。
模型格式 仅限于 GGUF 和 safetensors；其他格式需要自定义后端。
性能取决于所选后端和硬件；llmman 本身仅增加了一个轻量级编排层。
安全性 – 虽然支持签名，但对于多节点部署，仍需要保护守护进程（API 密钥、TLS）。

总结

llmman = 一个通用 CLI 和守护进程，允许您在任何模型上运行任何 LLM 代理，无论是在本地还是在云端，使用标准 OCI 注册表和单一的 Ollama/OpenAI 兼容 API。它消除了供应商锁定，简化了模型分发，并允许多台机器共享硬件作为单一推理端点。