chen-006/meow-llm-detector

它解決的問題

此工具幫助使用者辨識特定 API 端點實際由哪個大型語言模型（LLM）提供服務。它解決了所謂「API 偽裝」或路由的問題，即服務提供者可能聲稱提供某個模型（例如 GPT-4），但實際上卻將請求路由至較便宜或不同的模型。

如何運作

偵測器會向 API 發送一系列簡短且特定的問題。接著，將收到的答案分佈與內建的已知模型（如 GPT 和 Claude）基準資料進行比較。由於不同模型對相同的開放式提示通常會選擇不同的答案，因此該工具能判斷哪個模型的回應模式最接近目標 API 的表現。

適用對象

希望驗證 LLM API 提供者真實性的使用者，以及希望確保收到的是所支付模型的開發者。

主要特色

• 內建基準資料：包含多種 GPT 和 Claude 版本的預先收集基準資料。
• 可自訂測試強度：使用者可選擇低、中、高強度測試（20、50 或 100 個請求）。
• 本地執行：程式在使用者的機器上本地運行，確保 API 金鑰處理安全。
• 基準資料生成：允許使用者手動輸入、匯入，或使用 AI 生成新的測試問題，並從可信的 API 中取樣。
• 跨平台支援：透過 Python 3.11+ 支援 Windows、macOS 和 Linux。

這是一個非常實用的工具，能有效識別 API 背後的真實模型。— @handle