runpod/runpod-python

何を解決するか

このライブラリは、RunPodのGPUクラウドインフラを一元的に管理し、サーバーレスAIモデルをデプロイするための統合Pythonインターフェースを提供します。手動でのAPI呼び出しの必要性を排除し、インフラ管理（Pod）とカスタムサーバーレスエンドポイントの作成の両方に対して高レベルなSDKを提供します。

動作方法

このプロジェクトは主に2つの機能に分かれています：

1. サーバーレスSDK：Python関数（ハンドラー）をラップし、RunPod上にカスタムAPIエンドポイントとしてデプロイ可能なワーカーを起動できます。GPUの利用可能状態やディスク容量の検証を行う「フィットネスチェック」機能や、ネットワークボリュームからモデルを高速に読み込むための VolumeCache を含んでいます。
2. APIラッパー：GraphQLラッパーで、RunPodリソースをプログラムで制御できます。GPU Podの作成、停止、再開、終了、およびデプロイされたエンドポイントとの同期的・非同期的リクエストメソッドによるやり取りが可能です。

対象ユーザー

• AIエンジニア：スケーラブルなサーバーレスAPIとしてモデルをデプロイしたい人。
• MLOpsエンジニア：GPUクラウドインスタンス（Pod）のプロビジョニングと管理を自動化したい人。
• 開発者：RunPodエンドポイントへの推論リクエストをプログラムでトリガーしたい人。

主な特徴

• サーバーレスワーカーフレームワーク：Python関数を簡単にデプロイ可能なAPIエンドポイントに変換できます。
• インフラ自動化：GPUおよびCPU Podに対する完全なプログラム制御が可能。
• ウォームキャッシュ：ネットワークボリュームからローカルディレクトリを事前に充填することで、コールドスタート時間を短縮します。
• フィットネスチェック：ジョブを受け入れる前に、ワーカーが健全である（例：GPUが存在する）ことを保証します。
• 柔軟なAPIキー管理：スレッドセーフな並行処理に対応するため、グローバルキーとエンドポイント固有キーの両方をサポートしています。