pydantic/genai-prices

Calculate prices for calling LLM inference APIs.

解決的問題

GenAI Prices 提供了一種計算呼叫 LLM 推理 API 成本的方法。由於模型提供商通常不以機器可讀的格式提供定價資訊,因此開發人員很難估算或追蹤其 AI 應用程式的實際成本。

工作原理

該專案維護了一個包含數十個提供商(如 OpenAI、Anthropic 和 Google)和數百個模型的全面定價數據資料庫。它提供 Python 和 JavaScript/TypeScript 套件以及 CLI,用於根據模型和提供商 ID 查詢這些數據並計算成本。

適用對象

需要估算、監控或比較使用各種 LLM 推理 API 成本的 AI 應用程式開發人員。

亮點

  • 廣泛的提供商支援:支援包括 AWS Bedrock、Azure、Groq 和 OpenRouter 在內的廣泛提供商。
  • 複雜的定價邏輯:處理歷史價格變化、變動的每日定價(例如:離峰時段)以及針對大上下文的分層定價(例如:Gemini)。
  • 靈活的存取方式:提供 Python 套件、JS/TS 套件以及可下載的 JSON 資料檔案。
  • 準確性工具:包括最大化模型匹配的邏輯以及用於識別與其他來源價格差異的工具。