groq/groq-python

What it solves

このライブラリは、Python デベロッパーが Groq REST API とやり取りするための合理的な方法を提供し、Groq の低レイテンシ LLM サービスにアクセスする際に、HTTP リクエストや生の JSON レスポンスを手動で処理する必要性を排除します。

How it works

Groq REST API のラッパーとして機能し、同期 (Groq) および非同期 (AsyncGroq) クライアントを提供します。ネットワーク通信にはデフォルトで httpx を使用し、オプションでより高い並行性を実現するために aiohttp バックエンドを使用できます。

このライブラリは Pydantic モデルと TypedDicts を活用して、リクエストパラメータとレスポンスフィールドが厳密に型付けされていることを保証し、最新の IDE でオートコンプリートとエラーチェックを提供します。

Who it’s for

Groq の AI モデルとの統合が必要なアプリケーションを構築している Python デベロッパー、特に高性能、非同期、またはストリーミング レスポンスを必要とするデベロッパー向けです。

Highlights

• Dual Client Support: 同期および非同期クライアントの両方を提供し、異なるアプリケーション アーキテクチャへの柔軟な統合が可能です。
• Streaming: サーバー サイド イベント (SSE) を内蔵サポートしており、LLM のレスポンスをリアルタイムでストリーミングできます。
• Strong Typing: Pydantic と TypedDicts を使用して、堅牢な型安全性とエディタのオートコンプリートを実現します。
• Automatic Retries: 接続エラー、レート制限、およびサーバーエラーに対する組み込みの指数バックオフ (exponential backoff) を含んでいます。
• Flexible HTTP Backend: 最適化されたネットワーク パフォーマンスのために、httpx と aiohttp をサポートしています。