signerless/llm-checker

해결하는 문제

모델 변형, 양자화 수준, 그리고 다양한 하드웨어 제약(VRAM, 메모리 대역폭)의 방대함으로 인해 로컬 LLM을 선택하는 것은 어렵습니다. LLM Checker는 사용자의 특정 하드웨어를 분석하여 여러 레지스트리에서 가장 적합한 모델을 자동으로 추천함으로써 이 문제를 해결합니다.

작동 방식

이 도구는 CPU, GPU(NVIDIA, AMD, Apple Silicon, Intel Arc), RAM 기능을 탐지하는 하드웨어 탐지 시스템을 사용합니다. 이후 품질, 속도, 적합성, 컨텍스트의 네 가지 차원에서 결정론적 스코어링 엔진을 적용하여 모델을 순위 매깁니다. Hugging Face, Ollama, GPT4All에서 오는 33,000개 이상의 아티팩트를 포함한 다중 소스 레지스트리와 동기화된 Ollama 모델용 SQLite 카탈로그를 활용합니다. 또한 ModelVet를 통해 GGUF 및 safetensors 파일을 로드하기 전에 구조적 안전성 검증을 수행하는 기능도 포함되어 있습니다.

대상 사용자

Ollama를 통해 로컬 LLM을 실행하는 개발자 및 AI 애호가로서, 수동적인 시도와 오류 없이 자신의 기기에 최적의 성능을 발휘하는 모델을 찾고자 하는 사람.

주요 특징

• 하드웨어 인식 추천: 시스템 사양을 자동으로 감지하여 메모리에 실제로 맞는 모델을 제안합니다.
• 대규모 모델 레지스트리: Hugging Face, Ollama, GPT4All에서 33,000개 이상의 아티팩트에 접근 가능합니다.
• MCP 서버 통합: Claude나 Cursor와 같은 AI 어시스턴트가 로컬 모델을 관리하고 하드웨어를 분석할 수 있도록 하는 내장형 Model Context Protocol 서버를 제공합니다.
• 안전성 검증: 모델 파일의 구조적 검증 기능을 통합하여 손상되거나 악성 바이너리 로드를 방지합니다.
• 성능 메트릭: ai-run 명령어는 모델 실행 중 실시간 토큰/초 메트릭을 제공합니다.