aidatatools/ollama-benchmark

해결하는 문제

이 도구는 Ollama를 통해 실행되는 로컬 대규모 언어 모델(LLM)의 실제 처리량(토큰/초)을 측정할 수 있는 방법을 제공하여, 사용자가 하드웨어 성능이 다양한 모델 크기에서 어떻게 작동하는지 이해할 수 있도록 합니다.

작동 방식

CLI 도구는 Ollama 설치와 상호작용합니다. 시스템의 RAM 크기를 자동으로 감지하여 적절한 LLM 모델을 다운로드하고 테스트할 수 있도록 결정합니다. 그런 다음 이러한 모델에 대해 벤치마크를 실행하여 성능 지표를 계산합니다.

대상 사용자

Ollama를 통해 로컬 LLM을 실행하고 있으며, 2B에서 20B 파라미터까지 다양한 모델 레벨에서 하드웨어의 추론 속도를 정량화하고자 하는 사용자들입니다.

주요 기능

• Windows, Linux, macOS에서 사용 가능한 크로스플랫폼 CLI 도구.
• 사용 가능한 시스템 RAM에 따라 자동으로 모델을 선택합니다.
• YAML 파일을 통해 사용자 정의 벤치마크 모델 목록을 지원합니다.
• 원격 서버로 시스템 정보 및 결과를 전송하지 않도록 설정할 수 있는 옵션.