AlexsJones/llmfit
Hundreds of models & providers. One command to find what runs on your hardware.
llmfit – 기능 설명
llmfit은 어떤 오픈 소스 대규모 언어 모델(LLM)이 실제로 내 컴퓨터에서 실행될 수 있는지 파악하는 데 도움이 되는 명령줄(및 선택적 웹) 도구입니다. CPU, RAM, GPU, VRAM 및 기타 가속기를 자동 감지한 다음 내장 카탈로그의 모든 모델을 다음 기준으로 평가합니다:
- 적합성 – 모델이 메모리에 맞는가?
- 속도 – 대역폭 모델과 커뮤니티 벤치마크를 기반으로 한 초당 토큰 수 추정.
- 품질 – 카탈로그에서 제공하는 대략적인 품질 순위.
- 컨텍스트 – 모델이 지원하는 최대 프롬프트 길이.
결과는 GGUF, AWQ, GPTQ, EXL2와 같은 다양한 양자화 형식을 포함한 모델의 순위 목록이며, Ollama, llama.cpp, MLX, Docker 러너 또는 LM Studio와 같은 백엔드로 로컬에서 실행할 수 있습니다.
주요 기능 (README에서)
| 기능 | 제공 내용 |
|---|---|
| 하드웨어 자동 감지 | CPU 코어, 시스템 RAM, 개별/통합 GPU, VRAM 및 통합 메모리(CUDA, Apple Silicon, ROCm, OneAPI). |
| 모델 호환성 엔진 | 다양한 양자화 형식의 메모리 사용량과 초당 토큰 성능을 예측합니다. |
| 대화형 TUI 및 웹 대시보드 | 의존성이 없는 터미널 UI(기본값) 또는 로컬 또는 Docker에서 실행할 수 있는 더 풍부한 웹 UI. |
| REST API | 오케스트레이션 도구 또는 사용자 정의 대시보드와 통합하기 위한 JSON 엔드포인트(/api/v1/system, /api/v1/models). |
| 크로스 플랫폼 | macOS(Apple Silicon 및 Intel), Linux(x86_64 및 ARM64), Windows(x86_64). |
| 커뮤니티 벤치마킹 | 내 하드웨어에서 실제 벤치마크를 실행하고, 단일 명령으로 결과를 공유하고, 향후 릴리스에 통합할 수 있습니다. |
| 컨테이너 이미지 | TUI, CLI 또는 API를 제공할 수 있는 다중 아키텍처 Docker 이미지(ghcr.io/alexsjones/llmfit). |
| 확장 가능한 모델 카탈로그 | 로컬 또는 PR을 통해 새 모델을 추가할 수 있습니다. 카탈로그에는 이미 여러 공급자의 수백 개 모델이 포함되어 있습니다. |
일반적인 워크플로우
- 설치 – Homebrew, Scoop, 빠른 설치 스크립트, 사전 빌드된 바이너리 또는 Rust/Python 패키지로 설치.
- 실행 –
llmfit(또는llmfit recommend)을 실행하여 감지된 하드웨어에 호환되는 모델 표를 확인합니다. - 탐색 – TUI를 사용하여 필터링, 정렬, 상세 적합성 분석 보기 또는 웹 UI 실행.
- 벤치마크 –
llmfit bench는 선택한 모델/공급자의 실제 초당 토큰 속도를 측정하고--share로 숫자를 프로젝트에 공유할 수 있습니다. - 배포 – 모델을 선택하고 다운로드한 다음 선호하는 로컬 런타임(예: Ollama, llama.cpp)으로 시작합니다.
- 자동화 – JSON 출력(
llmfit recommend --json)을 사용하거나 REST API를 호출하여 스크립트화된 배포를 수행합니다.
누가 사용할까요?
- 개발자 – LLM을 로컬에서 실행하려 하지만 어떤 크기/양자화가 맞는지 확실하지 않은 경우.
- 연구자 – LLM 워크로드용 하드웨어를 평가하는 경우.
- 운영/DevOps – 대상 머신에 따라 모델을 선택해야 하는 자동화 파이프라인을 구축하는 경우.
- 애호가 – 커뮤니티 추정치를 개선하기 위해 벤치마크 데이터를 기여하는 경우.
설치 하이라이트
- Windows –
scoop install llmfit - macOS / Linux – Homebrew(
brew install AlexsJones/llmfit/llmfit), MacPorts 또는 원라이너curl … | sh - Python / uv –
uv tool install -U llmfit(pip에서도 작동) - Docker –
docker run ghcr.io/alexsjones/llmfit(대화형 모드에는--tui추가, API/UI에는serve추가) - 소스에서 –
cargo build --release
라이선스 및 서명
이 프로젝트는 MIT 라이선스로 배포됩니다. Windows 바이너리는 CI 작업이 성공하면 SignPath를 통해 서명됩니다. 서명이 실패하면 서명되지 않은 바이너리가 게시될 수 있습니다.
빠른 시작 예제 (CLI)
# 하드웨어 프로필 및 최적의 모델 표시
llmfit recommend
# 스크립트용으로 동일한 정보를 JSON으로 가져오기
llmfit recommend --json > fits.json
# 모델에서 실제 벤치마크를 실행하고 결과 공유
llmfit bench --model "Llama-2-7B-Chat-GGUF" --provider ollama --share
요약: llmfit는 증가하는 오픈 소스 LLM 카탈로그와 사람들이 실행하는 다양한 하드웨어 사이의 격차를 메우는 실용적인 유틸리티로, 올바른 모델을 선택하는 데 도움이 되는 추정치와 실제 측정값을 모두 제공합니다.
관련
- 프로젝트
- 프로젝트
- Dispatch
- 프로젝트
- 프로젝트