groq/groq-python

What it solves

這款函式庫為 Python 開發者提供了一種簡化的方式來與 Groq REST API 互動，在存取 Groq 的低延遲 LLM 服務時，無需手動處理 HTTP 請求與原始 JSON 回應。

How it works

它作為 Groq REST API 的封裝器，提供同步 (Groq) 與非同步 (AsyncGroq) 用戶端。它預設使用 httpx 進行網路通訊，並可選擇使用 aiohttp 作為後端以獲得更高的併發性。該函式庫利用 Pydantic 模型與 TypedDicts 來確保請求參數與回應欄位具有嚴格的有型 (typed) 特性，從而在現代 IDE 中提供自動完成與錯誤檢查。

Who it’s for

Python 開發者，特別是那些需要整合 Groq 的 AI 模型，且需要高效能、非同步或串流回應的開發者。

Highlights

• Dual Client Support: 提供了同步與非同步用戶端，可靈活地整合進不同的應用程式架構。
• Streaming: 內建對 Server Side Events (SSE) 的支援，可即時串流 LLM 回應。
• Strong Typing: 使用 Pydantic 與 TypedDicts 以確保強大的型別安全與編輯器自動完成功能。
• Automatic Retries: 包含針對連接錯誤、速率限制與伺服器錯誤的內建建置指數退避 (exponential backoff) 機制。
• Flexible HTTP Backend: 支援 httpx 與 aiohttp 以優化網路效能。