aidatatools/ollama-benchmark

LLM Benchmark for Throughput via Ollama (Local LLMs)

해결하는 문제

로컬 대규모 언어 모델이 실제로 얼마나 빠르게 실행되는지 구체적인 수치를 제공합니다. 추측하거나 제공업체의 주장에 의존하는 대신, 자신의 하드웨어에서 직접 초당 토큰 처리량 측정값을 얻을 수 있습니다.

작동 방식

pip, pipx 또는 uv를 사용하여 설치한 후 단일 명령어를 실행하면 됩니다. 기존 Ollama 설치 환경이 필요합니다. 이 도구는 시스템의 RAM 크기를 감지하여 벤치마크에 적합한 모델 세트를 자동으로 선택하고, 모델이 없으면 자동으로 가져온(pull) 뒤 프롬프트 워크로드를 실행하여 처리량을 측정합니다. 사용자 정의 모델 목록이 포함된 YAML 파일을 제공할 수도 있습니다. 기본적으로 시스템 정보와 결과가 원격 서버로 전송되지만, --no-sendinfo 플래그를 사용하면 모든 데이터를 로컬에 유지할 수 있습니다.

대상 사용자

Ollama를 통해 로컬 LLM을 실행하는 모든 사용자(개발자, 취미 사용자, 연구원 등)로서, 자신의 기기에서 추론 속도를 빠르고 반복 가능한 방식으로 비교하고자 하는 분들에게 적합합니다.

주요 특징

  • 크로스 플랫폼: Windows, Linux, macOS에서 작동합니다.
  • RAM 크기에 따라 모델을 자동으로 선택합니다.
  • 벤치마크 결과를 선택적으로 원격 서버에 전송할 수 있습니다.
  • YAML 파일을 통한 사용자 정의 벤치마크 모델 목록을 지원합니다.
  • Python 3.10 이상에서 테스트되었습니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트