signerless/llm-checker

何を解決するか

ローカル LLM を選ぶのは、膨大なモデルバリアント、量子化レベル、そして異なるハードウェア制約（VRAM、メモリ帯域幅）のため難しいです。LLM Checker は、ユーザーの特定のハードウェアを分析し、複数のレジストリから最適なモデルを自動的に推薦することで、この課題を解決します。

動作方法

このツールは、CPU、GPU（NVIDIA、AMD、Apple Silicon、Intel Arc）、RAM の能力を検出するハードウェア検出システムを使用します。その後、品質、速度、適合性、コンテキストの4つの次元で決定論的なスコアリングエンジンを適用し、モデルをランク付けします。Hugging Face、Ollama、GPT4All からの33,000以上のアーティファクトを含むマルチソースレジストリと、同期された Ollama モデル用の SQLite カタログを利用しています。また、ModelVet を通じた構造的安全性検証機能も備えており、GGUF および safetensors ファイルをロードする前に検証します。

対象ユーザー

Ollama を通じてローカル LLM を実行している開発者や AI アクティビストで、手動での試行錯誤なしに、自分のマシンに最適なパフォーマンスを発揮するモデルを見つけたい人。

主な特徴

• ハードウェア対応の推薦: システム仕様を自動検出することで、実際にメモリに収まるモデルを提案します。
• 大規模モデルレジストリ: Hugging Face、Ollama、GPT4All で33,000以上のアーティファクトにアクセス可能。
• MCP サーバー統合: AI アシスタント（Claude や Cursor など）がローカルモデルを管理し、ハードウェアを分析できるようにする、組み込みの Model Context Protocol サーバー。
• 安全検証: モデルファイルの構造的検証機能を統合し、破損または悪意あるバイナリのロードを防止します。
• パフォーマンスメトリクス: ai-run コマンドでモデル実行中のリアルタイムのトークン/秒を提供します。