runpod/runpod-python

解決的問題

此套件提供統一的 Python 接口，用於管理 RunPod 的 GPU 雲基礎設施並部署伺服器無 AI 模型。它透過提供高階 SDK 消除手動 API 呼叫的需求，該 SDK 可同時用於基礎設施管理（Pod）與自訂伺服器無端點的建立。

工作原理

此專案主要分為兩個功能：

1. 伺服器無 SDK：允許開發者封裝 Python 函數（處理常式），並啟動一個可部署為 RunPod 上自訂 API 端點的工作者。它包含「健康檢查」功能，可在處理工作前驗證 GPU 可用性或磁碟空間，並提供 VolumeCache 以加速從網路體積載入模型。
2. API 包裝器：一個 GraphQL 包裝器，可實現對 RunPod 資源的程式化控制。使用者可建立、停止、恢復或終止 GPU Pod，並使用同步或非同步請求方法與已部署的端點互動。

適用對象

• AI 工程師：需要將模型部署為可擴展的伺服器無 API 的人。
• MLOps 工程師：希望自動化 GPU 雲端實例（Pod）的供應與管理的人。
• 開發者：希望以程式化方式觸發對 RunPod 端點的推論請求的人。

主要特色

• 伺服器無工作者框架：輕鬆將 Python 函數轉換為可部署的 API 端點。
• 基礎設施自動化：對 GPU 與 CPU Pod 實現完全程式化控制。
• 預熱快取：透過從網路體積填入本地目錄，減少冷啟動時間。
• 健康檢查：在接收工作前確保工作者健康（例如，GPU 存在）。
• 彈性 API 金鑰管理：支援全域金鑰與端點特定金鑰，以實現執行緒安全的併發操作。