leptonai: 一个用于在 NVIDIA DGX Cloud Lepton 上管理和操作 AI 工作负载的 Python 库和 CLI

它解决了什么问题

它为管理和与 NVIDIA DGX Cloud Lepton 平台进行交互提供了一个统一的接口。它简化了直接从 Python 或命令行界面 (CLI) 部署、管理和调用 AI 工作负载（例如 endpoints、batch jobs 和 clusters）的过程。

它是如何工作的

该项目由一个 Python 库和一个 lep CLI 工具组成。用户可以使用 CLI 来创建和管理资源，例如 endpoints、dev pods 和 Ray/Slurm clusters。Python Client 允许用户通过读取 endpoint 的 OpenAPI schema，像调用原生 Python 函数一样调用已部署的 endpoints。此外，它还包括“skills”功能，使 AI agents（如 Claude Code 或 Codex）能够通过自然语言命令来操作平台。

目标用户

使用 NVIDIA DGX Cloud Lepton 平台来部署和扩展 AI 模型及工作负载的开发者和 AI 工程师。

亮点

• Unified CLI: 一个用于管理 endpoints、batch jobs、dev pods 和 fine-tuning jobs 的单一 lep 命令。
• Dynamic Client: 一个 Python client，能够根据 OpenAPI schemas 自动将 endpoint paths 映射到 methods。
• Agentic Integration: 为 AI agents 内置了用于通过自然语言管理工作负载的 skills。
• Cloud-Native Configuration: 可以直接发送到云端的 Pythonic 配置规范。