Ikaleio/lm-detector

解決する課題

このプロジェクトは、サードパーティのAPIプロバイダーにおける「モデルのすり替え」問題に対処します。特定のLLMを提供すると謳うAPIが、実際にそのモデルを提供しているのか、それとも別のモデルにすり替えられているのかをユーザーが検証するのに役立ちます。

仕組み

非意味的な「フィンガープリント（指紋）」技術を使用しています。このツールは、LLMに対して1から355までの整数を約300個生成するように指示します。LLMは「乱数」を生成する際に固有のバイアスを持っているため、これらの出力は特定のモデルファミリーに固有の安定した数値分布を作成します。検出器はこの分布を既知のモデルの参照データベースと比較し、最も可能性の高い候補を特定します。オプションとして、モデルがテキストをどのように分解するかを分析するトークナイザー・プロービングを実行し、補助的な証拠を追加することも可能です。

対象ユーザー

サードパーティのAPIアグリゲーターや「モデル中継局」を利用しており、料金を支払っている、または使用しているモデルの真正性を検証したい開発者、研究者、およびユーザー向けです。

主な特徴

• マルチプロトコル対応: OpenAI、Chat Completions、Anthropic Messages形式で動作します。
• デュアルインターフェース: Webベースのダッシュボードと、バッチテストやローカルデータ管理のためのコマンドラインインターフェース (CLI) の両方を提供します。
• 拡張可能なデータベース: GPT、Claude、Gemini、Grok、Qwen、DeepSeekなどの主要モデルの参照ライブラリが含まれており、ローカルでサンプリングや検出器の再トレーニングを行うツールも備えています。
• プライバシー重視: プロジェクト独自のサーバーに依存しないよう、直接のAPI接続、ブラウザベースのリクエスト、またはセルフホスト型のCloudflare Workerプロキシをサポートしています。