llmmanorg/llmman
Run any agent on any model, models stored as OCI images
llmman이란?
llmman은 모든 LLM 스타일 에이전트(Claude Code, Codex, OpenCode, GitHub Copilot 등)를 모든 모델(로컬 컴퓨터에 있든 클라우드 서비스가 제공하든)에서 실행할 수 있는 명령줄 도구입니다. 이는 인기 있는 추론 백엔드(llama.cpp, vLLM, sglang, mlx-lm 등)를 래핑하고 Ollama 호환 단일 HTTP API를 노출하여 이를 수행합니다. 핵심 아이디어는 모델을 OCI 컨테이너 이미지로 취급하는 것입니다. 따라서 Docker/Podman 이미지에 이미 사용하는 것과 동일한 도구로 모델을 가져오고, 푸시하고, 전송하고, 서명할 수 있습니다.
왜 중요한가
| 기능 | 제공 내용 |
|---|---|
| 공급업체 비종속 | 동일한 launch, run, serve 명령이 로컬 호스팅 모델 또는 Groq, Baseten, OpenRouter 등의 호스팅 모델에서 작동합니다. |
| 레지스트리 비종속 | 모델은 모든 OCI 레지스트리(Docker Hub, GHCR, Quay, 프라이빗 Harbor 등) 또는 Hugging Face에서 직접 저장할 수 있습니다. 독점 모델 스토어가 없습니다. |
| 변환 불필요 | 원본 GGUF 또는 safetensors 파일을 사용합니다. 사용자 지정 가져오기 단계가 없습니다. |
| 원스텝 전송 | llmman transfer hf.co/... docker.io/...는 로컬 디스크에 닿지 않고 레지스트리 간에 모델을 이동합니다. 에어갭 또는 규정 준수가 중요한 환경에 유용합니다. |
| 집계 | 여러 시스템에서 llmman serve를 실행하면 풀을 형성하여 모델이 로드된 노드 또는 사용 가능한 메모리가 가장 많은 노드가 요청을 처리합니다. |
| 통합 API | 단일 포트에서 Ollama, OpenAI 및 Anthropic 엔드포인트를 노출하므로 기존 클라이언트(curl, LangChain, VS Code 확장 등)가 변경 없이 작동합니다. |
| 멀티모달 지원 | 동일한 run 명령으로 확산 모델을 호출하여 이미지, 짧은 비디오 또는 오디오를 생성할 수 있습니다. |
| 보안 | 모델은 cosign으로 서명할 수 있습니다. llmman verify는 가져올 때 신뢰 정책을 적용합니다. |
핵심 개념 및 워크플로우
- 모델을 OCI 이미지로 – 모델 파일(GGUF 또는 safetensors)은 표준 OCI 이미지 레이아웃으로 패키징됩니다. 모델 가져오기, 푸시 또는 전송은 일반 컨테이너 레지스트리로 수행됩니다.
- 백엔드 – 모델이 필요하면 llmman이 적절한 추론 엔진을 시작합니다:
- GGUF 모델용
llama.cpp(Docker, 사전 빌드 바이너리 또는 PATH의llama-server) - safetensors용
vLLM,sglang또는mlx-lm.
- GGUF 모델용
- CLI 명령 – 가장 많이 사용되는 명령:
llmman launch <agent> --model <model>– 모델에 대해 에이전트(예: Claude Code)를 시작합니다. 필요한 경우 로컬 데몬을 자동으로 시작합니다.llmman run <model> [prompt]– 빠른 채팅 또는 멀티모달 생성.llmman serve–127.0.0.1:17434에서 수신 대기하고 Ollama, OpenAI 및 Anthropic API를 사용하는 데몬을 시작합니다.llmman pull/transfer/push/verify– 레지스트리 작업.
- 집계 –
llmman config set aggregation.peers ...로 피어를 구성합니다. 데몬은 요청을 처리할 수 있는 피어로 전달합니다. - 하이브리드 모델 쌍 –
--overflow-provider/--overflow-model을 사용하여 저렴한 로컬 모델과 더 큰 호스팅 모델을 결합하여 오버플로 요청을 처리합니다. - 샌드박스 –
--sandbox를 사용하여 격리된 환경(Docker, macOS sandbox-exec 등)에서 통합을 실행합니다.
사용 대상
- 개발자 – 각 공급업체의 CLI를 배우지 않고 여러 에이전트와 모델을 실험할 수 있는 단일 도구를 원하는 개발자.
- 운영/MLOps 팀 – 이미 OCI 레지스트리를 운영하고 LLM을 서명 및 에어갭 전송을 포함한 다른 컨테이너 아티팩트처럼 취급하려는 팀.
- 연구자 – 다양한 백엔드에서 에이전트를 벤치마킹하거나 로컬 및 클라우드 추론을 혼합해야 하는 연구자.
- 기업 – 규정 준수에 적합한 모델 처리(레지스트리 간 전송, cosign 검증, 온프레미스 하드웨어 집계)가 필요한 기업.
빠른 시작
# 설치(Linux/macOS)
curl -fsSL https://llmmanorg.github.io/install.sh | sh
# 로컬 모델로 Claude Code 실행
llmman launch claude --model qwen3.8
# 동일한 모델로 간단한 채팅
llmman run qwen3.8 "Explain this repository"
# 모든 클라이언트에 호환 API 노출
llmman serve # 이제 Ollama, OpenAI 또는 Anthropic URL 사용 가능
제한 사항 / 미해결 질문
- Windows 지원은 Docker/Podman 컨테이너 또는 사전 빌드 바이너리에 의존합니다. 일부 백엔드에는 추가 툴체인(LLVM, Rust)이 필요할 수 있습니다.
- 모델 형식은 GGUF 및 safetensors로 제한됩니다. 다른 형식은 사용자 지정 백엔드가 필요합니다.
- 성능은 선택한 백엔드와 하드웨어에 따라 다릅니다. llmman 자체는 얇은 오케스트레이션 계층만 추가합니다.
- 보안 – 서명이 지원되지만 다중 노드 배포의 경우 데몬을 보호해야 합니다(API 키, TLS).
TL;DR
llmman = 표준 OCI 레지스트리와 단일 Ollama/OpenAI 호환 API를 사용하여 모든 LLM 에이전트를 모든 모델에서 로컬 또는 클라우드에서 실행할 수 있는 범용 CLI 및 데몬입니다. 공급업체 종속을 제거하고 모델 배포를 간소화하며 여러 시스템이 하드웨어를 단일 추론 엔드포인트로 공유할 수 있도록 합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- Dispatch