chen-006/meow-llm-detector

何を解決するか

このツールは、ユーザーが特定のAPIエンドポイントを実際に動かしているLLMを特定するのに役立ちます。「APIスプーフィング（なりすまし）」やルーティングの問題、つまり、サービスプロバイダーが特定のモデル（例：GPT-4）を提供していると主張しながら、実際にはより安価な、あるいは異なるモデルにリクエストをルーティングしている可能性に対処します。

仕組み

検出器は、APIに対して一連の短く具体的な質問を送信します。次に、受け取った回答の分布を、GPTやClaudeなどの既知のモデルの組み込みベンチマーク（ベースライン）と比較します。異なるモデルは、同じ自由記述形式のプロンプトに対して異なる回答を選択する傾向があるため、このツールはどのモデルの応答パターンがターゲットとなるAPIに最も近いかを判断できます。

対象ユーザー

LLM APIプロバイダーの真正性を検証したいユーザーや、支払った通りのモデルを受け取っていることを確認したい開発者。

ハイライト

• 組み込みベンチマーク: さまざまなGPTおよびClaudeバージョンのために事前収集されたベースラインが含まれています。
• カスタマイズ可能なテスト: ユーザーは、低、中、高強度のテスト（20、50、または100リクエスト）を選択できます。
• ローカル実行: プログラムはユーザーのローカルマシン上で実行されるため、APIキーが安全に扱われることが保証されます。
• ベンチマーク生成: ユーザーが手動で入力、インポート、またはAIを使用して新しいテスト質問を生成し、信頼できるAPIからサンプルを取得することを可能にします。
• クロスプラットフォーム対応: Python 3.11+を介してWindows、macOS、およびLinuxと互換性があります。