aidatatools/ollama-benchmark
LLM Benchmark for Throughput via Ollama (Local LLMs)
解決する課題
ローカルの大規模言語モデルが実際にどの程度の速度で動作しているかを具体的な数値で把握できます。推測やプロバイダーの主張に頼るのではなく、自身のハードウェアにおける1秒あたりのトークン処理能力(スループット)を測定できます。
仕組み
pip、pipx、または uv でインストールし、コマンドを1つ実行するだけです。既存の Ollama インストール環境が必要です。このツールはシステムの RAM サイズを検出し、ベンチマークに適したモデルセットを自動的に選択します。モデルがまだ存在しない場合は自動的にプルし、プロンプトワークロードを実行してスループットを測定します。独自のモデルリストを含む YAML ファイルを指定することも可能です。デフォルトではシステム情報と結果がリモートサーバーに送信されますが、--no-sendinfo フラグを使用することで、すべてをローカルに留めることができます。
対象ユーザー
Ollama を通じてローカル LLM を実行しているすべての方(開発者、ホビーユーザー、研究者など)で、自分のマシンでの推論速度を迅速かつ再現性のある方法で比較したい方に最適です。
ハイライト
- クロスプラットフォーム:Windows、Linux、macOS で動作します。
- RAM サイズに基づいてモデルを自動選択します。
- ベンチマーク結果をオプションでリモートサーバーに送信できます。
- YAML ファイルによるカスタムベンチマークモデルリストをサポートしています。
- Python 3.10 以上でテスト済みです。
関連
- プロジェクト
signerless/llm-checkerハードウェアを分析してローカルLLMの推奨、ランキング、管理を行うインテリジェントなCLIツール。ハードウェアに基づいたメモリ推定機能と、AIアシスタント向けのMCPサーバー統合を備えています。
- プロジェクト
sammcj/gollamaGollama は、Ollama モデルの一覧表示、検査、編集、実行、アンロード、コピー、削除、プッシュを行うための Go ベースのターミナル UI です。コマンドラインショートカットと vRAM 推定機能を備え、モデルがハードウェアに適合するかどうかの判断に役立ちます。
- プロジェクト
AlexsJones/llmfitllmfit は、システムの CPU、RAM、GPU、VRAM を検査し、数百のオープンソース LLM を適合性、速度、品質、コンテキストの観点でスコアリングして、どのモデルが実際にあなたのマシンでうまく動作するかを教えてくれるハードウェア認識ツールです。インタラクティブな TUI、Web ダッシュボード、REST API に加え、推定値を洗練させるためのコミュニティベンチマーク共有も備えています。
- プロジェクト
huggingface/optimum-benchmarkOptimum-Benchmarkは、AIモデルのパフォーマンス(速度、メモリ、エネルギー)をさまざまなハードウェアおよびソフトウェアバックエンドで測定するためのHugging Face製ツールです。推論およびトレーニングシナリオをサポートし、CPU、NVIDIA、AMDなどのデバイス上で動作します。Python APIまたはコマンドラインインターフェースを通じて利用可能です。現在活発に開発中であり、本番環境での使用にはまだ適していません。
- プロジェクト
taketwo/llm-ollamallm-ollama は、LLM コマンドラインツール用のプラグインで、Ollama サーバー(ローカル、リモート、クラウド)に接続し、利用可能なすべてのモデルを自動的に登録して、LLM のインターフェースを通じてプロンプト、チャット、埋め込み、添付ファイル、ツールなどを直接使用できるようにします。