pydantic/genai-prices
Calculate prices for calling LLM inference APIs.
해결하는 문제
GenAI Prices는 LLM 추론 API 호출 비용을 계산하는 방법을 제공합니다. 모델 제공업체가 기계 판독 가능한 형식으로 가격 정보를 제공하지 않는 경우가 많기 때문에, 개발자가 AI 애플리케이션의 실제 비용을 추정하거나 추적하는 것은 어렵습니다.
작동 방식
이 프로젝트는 수십 개의 제공업체(OpenAI, Anthropic, Google 등)와 수백 개의 모델에 대한 포괄적인 가격 데이터 데이터베이스를 유지 관리합니다. 모델 및 제공업체 ID를 기반으로 이 데이터를 쿼리하고 비용을 계산할 수 있는 Python 및 JavaScript/TypeScript 패키지와 CLI를 제공합니다.
대상 사용자
다양한 LLM 추론 API 사용 비용을 추정, 모니터링 또는 비교해야 하는 AI 애플리케이션 구축 개발자.
주요 특징
- 폭넓은 제공업체 지원: AWS Bedrock, Azure, Groq, OpenRouter를 포함한 광범위한 제공업체를 지원합니다.
- 복잡한 가격 로직: 과거 가격 변경, 가변 일일 가격(예: 오프피크), 대규모 컨텍스트에 대한 계층형 가격(예: Gemini)을 처리합니다.
- 유연한 액세스: Python 패키지, JS/TS 패키지 및 다운로드 가능한 JSON 데이터 파일로 제공됩니다.
- 정확도 도구: 모델 매칭을 극대화하는 로직과 다른 소스로부터의 가격 불일치를 식별하기 위한 도구가 포함되어 있습니다.