AlexsJones/llmfit

해결하는 문제

llmfit은 사용자의 특정 하드웨어에서 어떤 오픈소스 대형 언어 모델(LLM)을 원활하게 실행할 수 있는지 결정하는 데 도움을 줍니다. 시스템 리소스를 분석하고 사용 가능한 메모리와 예상 성능을 기반으로 모델을 추천하여 모델 선택의 추측을 제거합니다.

작동 방식

이 도구는 시스템의 CPU, RAM, GPU, VRAM 및 가속기 구성(NVIDIA CUDA, Apple Silicon, AMD ROCm 및 Intel OneAPI 지원)을 감지합니다. 그런 다음 이러한 사양을 모델 카탈로그와 비교하여 매개변수 수, 컨텍스트 길이 및 양자화 형식(예: GGUF, AWQ, GPTQ 및 EXL2)을 분석합니다.

성능은 런타임 샘플링과 커뮤니티 기여 벤치마크를 기반으로 하는 메모리 대역폭 모델을 사용하여 추정됩니다. 또한 사용자는 자체 벤치마크를 실행하여 특정 하드웨어에 대한 실제 초당 토큰 수 측정값으로 추정치를 대체할 수 있습니다.

대상

로컬에서 LLM을 실행하고 싶지만 시스템 충돌 없이 VRAM/RAM에 맞는 모델 크기나 양자화 수준이 무엇인지 확신할 수 없는 개발자 및 AI 애호가.

주요 기능

• 하드웨어 자동 감지: macOS, Linux 및 Windows에서 시스템 리소스를 자동으로 식별합니다.
• 대화형 TUI 및 웹 대시보드: 모델을 탐색하고 순위를 매기기 위한 터미널 기반 인터페이스 또는 웹 기반 대시보드를 제공합니다.
• 커뮤니티 벤치마킹: 사용자가 실제 성능을 측정하고 결과를 프로젝트에 다시 기여하여 동일한 하드웨어를 가진 다른 사용자의 추정치를 개선할 수 있도록 합니다.
• REST API: 다른 배포 파이프라인이나 오케스트레이터에 통합하기 위한 JSON 엔드포인트를 제공합니다.
• 폭넓은 제공자 지원: Ollama, llama.cpp, MLX 및 LM Studio와 같은 로컬 런타임과 함께 작동합니다.