hanlinwenyuan/hlwy-ai-checker

检查第三方AI API是否掺假以及渠道一致|基于llm指纹的AI模型识别

hlwy‑ai‑checker – 機能概要

目的 – 公式LLM API（例：OpenAI）とサードパーティの「リセラー」APIの挙動を比較できるローカル実行型ツールです。両方のエンドポイントに多数の同一プロンプトを送信し、応答の統計的分布を分析することで、各サービスのフィンガープリントを作成します。フィンガープリントに大きな違いがある場合、このツールはサードパーティのチャネルが改ざんされている、あるいは「偽物」である可能性があるとフラグを立てます。

重要性 – 多くの企業が大規模言語モデルのAPIを再パッケージ化し、独自のキーで販売しています。ユーザーは、APIキーやデータをインターネットにさらすことなく、支払っているサービスが公式プロバイダーと同じモデルを実際に実行しているかを確認したいと考えるでしょう。

使用方法

Releases ページから最新のZIPファイルをダウンロードし、解凍します。
python start.py を実行します。
自動モード – ワンクリックテスト。オプションで「アンチターゲティング」スイッチが利用可能です（READMEのスクリーンショットにUIが表示されています）。
手動モード –
- 公式のAPIキーとベースURL（/v1 を含む必要があります）を入力します。
- サードパーティのAPIキーとベースURLを入力し、キャリブレーションに使用したのと同じモデルを選択してテストを開始します。
実行終了後、UIに類似度スコア、統計チャート、トークン使用量が表示されます。

主な機能

機能	内容
統計的フィンガープリント	同じプロンプトを繰り返しサンプリングすることで、モデルの「署名」のように機能する微妙なバイアス（学習データ、トークナイザー、サンプリングパラメータ）を明らかにします。
高い識別能力	スクリーンショットが示す通り、本ツールは正規のエンドポイントと改ざんされたエンドポイントを明確に区別できます。
低トークン消費	信頼性の高いフィンガープリントを得るために十分なデータを収集しつつ、トークン消費を最小限に抑えるよう設計されています。
キャリブレーション後の適応	まず公式エンドポイントでキャリブレーションを行い、同じ設定をサードパーティのエンドポイントに適用することで比較精度を向上させます。
ローカル実行のみ	APIリクエスト以外のネットワーク通信は行われないため、キーやテストデータがマシンから外部へ流出することはありません。

基本的な考え方（READMEより）

大規模言語モデルは純粋な乱数生成器ではありません。その「ランダム」な出力は、学習データ、アーキテクチャ、RLHFアライメント、トークン化、サンプリング設定の影響を受けます。
多数のプロンプトを送信し、回答の分布を収集することで、統計的な「フィンガープリント」を構築できます。
サードパーティサービスのフィンガープリントと公式サービスのフィンガープリントを比較することで、両者が同じ挙動をしているかを確認できます。
この手法は統計的なものであり、フォレンジック（科学捜査）ではありません。結果はモデルのバージョン、サンプル数、ネットワークの安定性などに依存し、法的証拠として使用することはできません。

制限事項と免責事項

結果はあくまで目安であり、サードパーティAPIが異なるモデルを使用していることを決定的に証明するものではありません。
モデルのランダム性やネットワークの問題が類似度スコアに影響を与える可能性があります。
本ツールの出力に起因する商取引上の紛争について、著者は一切の責任を負いません。

このツールが役立つ対象

リセラーからLLMアクセスを購入しており、安価な健全性チェックを行いたい開発者や企業。
APIキーの露出を懸念するセキュリティ意識の高いユーザー。
モデルレベルのフィンガープリント技術に関心のある研究者。

クイックスタートチェックリスト

Pythonのインストール（リポジトリに依存関係は記載されていませんが、requests/httpx および tkinter や PyQt などのGUIライブラリが必要になる可能性があります）。
公式のAPIキーとベースURL（例： https://api.openai.com/v1）。
サードパーティのAPIキーとベースURL。
スクリプトを実行し、画面の指示に従います。

要約: hlwy‑ai‑checker は、公式LLM APIとサードパーティ製APIの出力パターンを統計的に比較するためのニッチなローカル実行型ユーティリティです。ユーザーは認証情報を秘匿したまま、改ざんやモデルのすり替えの可能性を検出できます。