aidatatools/ollama-benchmark

LLM Benchmark for Throughput via Ollama (Local LLMs)

解決する課題

ローカルの大規模言語モデルが実際にどの程度の速度で動作しているかを具体的な数値で把握できます。推測やプロバイダーの主張に頼るのではなく、自身のハードウェアにおける1秒あたりのトークン処理能力(スループット)を測定できます。

仕組み

pip、pipx、または uv でインストールし、コマンドを1つ実行するだけです。既存の Ollama インストール環境が必要です。このツールはシステムの RAM サイズを検出し、ベンチマークに適したモデルセットを自動的に選択します。モデルがまだ存在しない場合は自動的にプルし、プロンプトワークロードを実行してスループットを測定します。独自のモデルリストを含む YAML ファイルを指定することも可能です。デフォルトではシステム情報と結果がリモートサーバーに送信されますが、--no-sendinfo フラグを使用することで、すべてをローカルに留めることができます。

対象ユーザー

Ollama を通じてローカル LLM を実行しているすべての方(開発者、ホビーユーザー、研究者など)で、自分のマシンでの推論速度を迅速かつ再現性のある方法で比較したい方に最適です。

ハイライト

  • クロスプラットフォーム:Windows、Linux、macOS で動作します。
  • RAM サイズに基づいてモデルを自動選択します。
  • ベンチマーク結果をオプションでリモートサーバーに送信できます。
  • YAML ファイルによるカスタムベンチマークモデルリストをサポートしています。
  • Python 3.10 以上でテスト済みです。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト