yureii1996/cek-probe-model
Untuk cek model apakah maskingan atau bukan
解決する課題
このプロジェクトは、OpenAI互換APIエンドポイントでホストされているAIモデルのアイデンティティとロジックを検証するための一連のPythonスクリプトを提供します。ユーザーがアクセスしているモデルがプロバイダーの主張通りであることを確認し、モデルラベルと実際の動作との間の潜在的な不一致を検出するのに役立ちます。
仕組み
このツールは、エンドポイントからモデルのリストを取得し、単純な「プローブ」リクエストを実行します。モデルに推論リクエストを送信し、その応答を分析して、アイデンティティとロジックが期待されるモデルファミリーと一致するかどうかを確認します。例えば、ラベルが「DeepSeek」であるにもかかわらずモデルが自身を「GPT」と識別した場合、そのモデルを「疑わしい」としてフラグを立てることができます。
対象ユーザー
使用しているモデルエンドポイントの真正性を検証し、意図しない安価なモデルや予期せぬモデルからの応答を受け取っていないことを確認したい開発者およびAPIユーザー。
主な特徴
- アイデンティティ検証: モデルの自己申告アイデンティティがラベルと異なるアーキテクチャの不一致を検出します。
- OpenAI API互換性: OpenAI API標準に従うあらゆるエンドポイントで動作します。
- 複数のテストモード: 高速プローブ用スクリプトに加え、InferHubやCFRouterなどの特定のプロバイダー向けにリトライや遅延処理を組み込んだスクリプトが含まれています。
- 環境変数ベースのセキュリティ: 環境変数を使用してAPIキーを安全に管理します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト