aidatatools/ollama-benchmark

何を解決するか

このツールは、Ollama経由で実行されるローカルの大規模言語モデル（LLM）の実際のスループット（トークン/秒）を測定する方法を提供し、ユーザーが自分のハードウェアが異なるモデルサイズでどのように動作するかを理解できるようにします。

動作方法

CLIツールはOllamaのインストールと連携します。システムのRAM容量を自動検出することで、適切なLLMモデルのダウンロードとテストを決定します。その後、これらのモデルに対してベンチマークを実行し、パフォーマンスメトリクスを計算します。

対象ユーザー

Ollama経由でローカルLLMを実行しているユーザーで、さまざまなモデル階層（2B～20Bパラメータ）におけるハードウェアの推論速度を数値化したい人。

特徴

• Windows、Linux、macOS対応のクロスプラットフォームCLIツール。
• 利用可能なシステムRAMに基づいた自動モデル選択。
• YAMLファイルを用いたカスタムベンチマークモデルリストのサポート。
• リモートサーバーへのシステム情報および結果の送信を無効にするオプション。