pydantic/genai-prices
Calculate prices for calling LLM inference APIs.
解决的问题
GenAI Prices 提供了一种计算调用 LLM 推理 API 成本的方法。由于模型提供商通常不以机器可读的格式提供定价信息,因此开发人员很难估算或跟踪其 AI 应用程序的实际成本。
工作原理
该项目维护了一个包含数十个提供商(如 OpenAI、Anthropic 和 Google)和数百个模型的全面定价数据数据库。它提供 Python 和 JavaScript/TypeScript 包以及 CLI,用于根据模型和提供商 ID 查询这些数据并计算成本。
适用对象
需要估算、监控或比较使用各种 LLM 推理 API 成本的 AI 应用程序开发人员。
亮点
- 广泛的提供商支持:支持包括 AWS Bedrock、Azure、Groq 和 OpenRouter 在内的广泛提供商。
- 复杂的定价逻辑:处理历史价格变化、可变的每日定价(例如:非高峰时段)以及针对大上下文的分层定价(例如:Gemini)。
- 灵活的访问方式:提供 Python 包、JS/TS 包以及可下载的 JSON 数据文件。
- 准确性工具:包括最大化模型匹配的逻辑以及用于识别与其他来源价格差异的工具。