stevibe/BenchLocal
Test LLMs on real tasks. Compare models side-by-side.
何を解決するか
BenchLocal は、実世界のタスク上で大規模言語モデル（LLM）をテスト・比較するためのローカル優先のデスクトップ環境を提供します。ユーザーが複数のローカルまたはリモートモデルに対して標準化された「Bench Packs」（ベンチマークセット）を並列で実行できるようにすることで、モデルの手動テストの煩わしさを解消します。
動作方法
このソフトウェアは、プロバイダ設定、モデルレジストリ、ベンチマークの実行を管理する共有デスクトップランタイムとして機能します。ユーザーは、シナリオ定義、プロンプト、スコアリングロジックを含む Bench Packs をインストールし、アプリで実行します。システムはタブ単位のサンプリングオーバーライドをサポートし、実行結果の履歴を保持します。
さらに、HTTP API と Model Context Protocol (MCP) を通じた「エージェントアクセス」機能により、AIエージェントや自動化ツールがUIがアクティブな状態でもベンチマークワークフローをプログラムで制御できます。
対象ユーザー
特定のタスク（ツール呼び出し、バグ検出、データ抽出など）におけるLLMのパフォーマンスを、異なるモデル間で一貫したフレームワークで評価したい開発者やAI研究者向けに設計されています。
主な特徴
- ローカル優先のデスクトップアプリ：LLMベンチマークの管理と実行に特化した環境。
- Bench Packシステム：インストール可能でモジュール化されたベンチマークセットをサポートし、独自のスコアリングと検証ロジックを備える。
- エージェント制御：MCP と OpenAPI との統合により、外部AIエージェントが実行やモデルを管理可能。
- 並列比較：同じタスクに対して複数のモデルの出力を同時に比較可能。
関連
- プロジェクト
deer-flow/llm-spaceエージェント開発者がローカルファーストのデータ管理で、AIエージェントのプロトタイプ作成、トレース、デバッグ、評価を行えるデスクトップアプリケーション。
- プロジェクト
ThinkInAIXYZ/deepchatDeepChatは、LLMベースのAIエージェントをローカルで実行するためのクロスプラットフォームデスクトップクライアントです。セッションを復元可能な「テープ」として記録し、プラグイン「スキル」をサポートし、ACPエージェントを統合し、TelegramやDiscordなどのメッセンジャー経由でリモート制御できます。クラウドAPI（OpenAI、Gemini、Anthropicなど）およびローカルのOllamaモデルと連携し、Apache-2.0ライセンスでリリースされています。
- プロジェクト
oobabooga/textgen複数のバックエンド、マルチモーダル入力、ツールコール、ローカルファインチューニングをサポートする、プライベートでオープンソースのデスクトップアプリ。
- プロジェクト
google-ai-edge/galleryオープンソースのLLMとマルチモーダルAIモデルを完全にデバイス上で実行するためのモバイルおよびmacOS向けアプリケーションで、チャット、メディア検索、音声文字起こしのためのプライベートでオフラインの体験を提供します。
- プロジェクト
openyak/openyakOpenYakは、CodexやClaude Codeエージェントとチャットしながら、すべての会話履歴、ファイル、プロジェクトデータをローカル（Rust + SQLite）に保持できるオープンソースのデスクトップGUI（Electron + React）です。stdioを介して公式ランタイムを統合し、参照ファイル（Markdown、HTML、PDF、DOCX、コード）を表示します。また、Playwright駆動の共有ブラウザを提供し、ユーザーとエージェントの両方が同じページを制御できます。Node 26、Rust 1.90、および独自のCodex/Claude CLIバイナリを使用して実行してください。アプリはv2 alphaで、Apache-2.0ライセンスです。