leptonai/leptonai

解决的问题

Lepton AI 为管理与操作 NVIDIA DGX Cloud Lepton 平台提供了一种简化方式。它通过提供统一的 Python 库和命令行界面（CLI），消除了云基础设施管理的复杂性，使开发者能够轻松部署和交互 AI 工作负载。

工作原理

该项目包含两个主要接口：

1. lep CLI：一个命令行工具，用于创建和管理端点、批处理作业、开发 Pod、存储、密钥和集群（Ray 和 Slurm）。
2. Client Python 库：一个读取端点 OpenAPI 模式的工具，允许开发者将已部署的云端点当作原生 Python 函数来调用。

此外，该项目还包含“技能”功能，使 AI 代理（如 Claude Code 或 Codex）可以通过 lep CLI 使用自然语言命令来操作 Lepton 平台。

适用人群

使用 NVIDIA DGX Cloud Lepton 平台部署、扩展和管理 AI 模型及训练作业的开发者和机器学习工程师。

主要亮点

• 统一管理：通过单一 CLI 管理端点、批处理作业和开发 Pod。
• 动态客户端：Python 客户端可自动从端点的 OpenAPI 模式中发现可用路径和文档。
• 代理式操作：包含 AI 代理插件，可通过自然语言管理工作负载。
• 灵活认证：支持 API 令牌和安全端点默认值，实现受控访问。