AlexsJones/llmfit

Hundreds of models & providers. One command to find what runs on your hardware.

What it solves

사용자별 하드웨어에 맞는 대형 언어 모델(LLM) 선택의 어려움을 해결합니다. 모델이 VRAM에 들어갈지, 허용 가능한 속도로 실행될지 추측하는 대신, 사용 가능한 RAM, CPU, GPU에 맞는 모델을 찾을 수 있습니다.

How it works

llmfit은 시스템 하드웨어 사양을 감지하고 수백 개 모델을 메모리 적합도, 예상 속도, 품질, 컨텍스트라는 네 가지 핵심 차원에서 점수를 매깁니다. 속도 추정은 런타임 샘플링과 커뮤니티가 제공한 측정값을 기반으로 한 메모리 대역폭 모델에서 도출됩니다. 이 도구는 인터랙티브 TUI(터미널 사용자 인터페이스)와 자동화를 위한 CLI를 제공하며, Ollama, llama.cpp, MLX, LM Studio 등 다양한 로컬 런타임 제공자를 지원합니다.

Who it’s for

로컬에서 LLM을 실행하는 개발자와 AI 애호가를 위해 설계되었으며, 실제 하드웨어 제약에 기반해 모델 선택을 수동 계산 없이 최적화하고자 하는 사람들에게 적합합니다.

Highlights

  • Hardware Detection: RAM, CPU, GPU/VRAM을 자동으로 식별하여 모델 호환성을 판단합니다.
  • Multi-Backend Support: Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio 등 로컬 제공자를 지원합니다.
  • Community Benchmarking: 사용자가 자신의 하드웨어에서 실제 token‑per‑second를 측정하고 결과를 프로젝트에 기여하여 다른 사람들의 추정치를 개선할 수 있습니다.
  • Flexible Interface: 탐색을 위한 시각적 TUI와 스크립트·에이전트 통합을 위한 JSON 출력 CLI를 모두 제공합니다.
  • Architecture Awareness: Mixture‑of‑Experts(MoE) 아키텍처를 포함한 복합 모델 유형을 지원합니다.