aidatatools/ollama-benchmark
LLM Benchmark for Throughput via Ollama (Local LLMs)
해결하는 문제
로컬 대규모 언어 모델이 실제로 얼마나 빠르게 실행되는지 구체적인 수치를 제공합니다. 추측하거나 제공업체의 주장에 의존하는 대신, 자신의 하드웨어에서 직접 초당 토큰 처리량 측정값을 얻을 수 있습니다.
작동 방식
pip, pipx 또는 uv를 사용하여 설치한 후 단일 명령어를 실행하면 됩니다. 기존 Ollama 설치 환경이 필요합니다. 이 도구는 시스템의 RAM 크기를 감지하여 벤치마크에 적합한 모델 세트를 자동으로 선택하고, 모델이 없으면 자동으로 가져온(pull) 뒤 프롬프트 워크로드를 실행하여 처리량을 측정합니다. 사용자 정의 모델 목록이 포함된 YAML 파일을 제공할 수도 있습니다. 기본적으로 시스템 정보와 결과가 원격 서버로 전송되지만, --no-sendinfo 플래그를 사용하면 모든 데이터를 로컬에 유지할 수 있습니다.
대상 사용자
Ollama를 통해 로컬 LLM을 실행하는 모든 사용자(개발자, 취미 사용자, 연구원 등)로서, 자신의 기기에서 추론 속도를 빠르고 반복 가능한 방식으로 비교하고자 하는 분들에게 적합합니다.
주요 특징
- 크로스 플랫폼: Windows, Linux, macOS에서 작동합니다.
- RAM 크기에 따라 모델을 자동으로 선택합니다.
- 벤치마크 결과를 선택적으로 원격 서버에 전송할 수 있습니다.
- YAML 파일을 통한 사용자 정의 벤치마크 모델 목록을 지원합니다.
- Python 3.10 이상에서 테스트되었습니다.
관련
- 프로젝트
signerless/llm-checker하드웨어를 분석하여 로컬 LLM을 추천, 순위 지정 및 관리하는 지능형 CLI 도구로, 하드웨어 보정 메모리 추정 기능과 AI 어시스턴트를 위한 통합 MCP 서버를 제공합니다.
- 프로젝트
sammcj/gollamaGollama는 Ollama 모델을 나열, 검사, 편집, 실행, 언로드, 복사, 삭제 및 푸시하기 위한 Go 기반 터미널 UI로, 명령줄 단축키와 vRAM 추정기를 제공하여 모델이 하드웨어에 적합한지 결정하는 데 도움을 줍니다.
- 프로젝트
AlexsJones/llmfitllmfit은 시스템의 CPU, RAM, GPU, VRAM을 검사하고 수백 개의 오픈소스 LLM을 적합성, 속도, 품질, 컨텍스트 측면에서 점수화하여 어떤 모델이 실제로 내 컴퓨터에서 잘 실행될지 알려주는 하드웨어 인식 도구입니다. 대화형 TUI, 웹 대시보드, REST API를 포함하며, 추정치를 개선하기 위한 커뮤니티 벤치마크 공유도 제공합니다.
- 프로젝트
huggingface/optimum-benchmarkOptimum-Benchmark는 다양한 하드웨어 및 소프트웨어 백엔드에서 AI 모델 성능(속도, 메모리, 에너지)을 측정하는 Hugging Face 도구입니다. 추론 및 학습 시나리오를 지원하며 CPU, NVIDIA, AMD 등 다양한 장치에서 실행 가능하고 Python API나 명령줄 인터페이스를 통해 사용할 수 있습니다. 현재 활발히 개발 중이며 아직 프로덕션 환경용은 아닙니다.
- 프로젝트
taketwo/llm-ollamallm-ollama는 LLM 명령줄 도구용 플러그인으로, Ollama 서버(로컬, 원격 또는 클라우드)에 연결하고 사용 가능한 모든 모델을 자동으로 등록하여 LLM의 인터페이스를 통해 프롬프트, 채팅, 임베딩, 첨부 파일, 도구 등을 직접 사용할 수 있게 합니다.