leptonai: 一個用於在 NVIDIA DGX Cloud Lepton 上管理與操作 AI 工作負載的 Python 函式庫與 CLI

它解決了什麼問題

它提供了一個統一的介面，用於管理與互動 NVIDIA DGX Cloud Lepton 平台。它簡化了直接從 Python 或命令列介面 (CLI) 部署、管理與呼叫 AI 工作負載（例如端點、批次作業與叢集）的過程。

運作方式

該專案包含一個 Python 函式庫與 lep CLI 工具。使用者可以使用 CLI 來建立與管理資源，例如端點、dev pods 與 Ray/Slurm 叢集。Python Client 允許使用者透過讀取端點的 OpenAPI schema，將部署的端點視為原生 Python 函式來進行呼叫。此外，它還包含「技能 (skills)」功能，讓 AI agent（例如 Claude Code 或 Codex）能透過自然語言指令來操作平台。

目標對象

使用 NVIDIA DGX Cloud Lepton 平台來部署與擴展 AI 模型與工作負載的開發人員與 AI 工程師。

重點功能

• 統一的 CLI: 使用單一的 lep 指令來管理端點、批次作業、dev pods 與微調作業。
• 動態 Client: 一個 Python client，能根據 OpenAPI schemas 自動將端點路徑映射到方法。
• Agentic Integration: 內建技能讓 AI agent 能透過自然語言管理工作負載。
• Cloud-Native Configuration: Pythonic 的配置規範，可以直接傳送到雲端。