leptonai/leptonai

A Pythonic framework to simplify AI service building

What it solves

它提供了一个统一的接口，用于管理和交互 NVIDIA DGX Cloud Lepton 平台。它简化了直接从 Python 或命令行界面（CLI）部署、管理和调用 AI 工作负载（如端点、批处理作业和集群）的过程。

How it works

该项目由一个 Python 库和 lep CLI 工具组成。用户可以使用 CLI 创建和管理端点、开发 pod、以及 Ray/Slurm 集群等资源。Python Client 允许用户像调用本地 Python 函数一样调用已部署的端点，通过读取端点的 OpenAPI schema。此外，它还包含“skills”，使 AI 代理（如 Claude Code 或 Codex）能够通过自然语言指令操作平台。

Who it’s for

使用 NVIDIA DGX Cloud Lepton 平台部署和扩展 AI 模型与工作负载的开发者和 AI 工程师。

Highlights

  • Unified CLI: 单一 lep 命令即可管理端点、批处理作业、开发 pod 和微调作业。
  • Dynamic Client: 基于 OpenAPI schema 自动将端点路径映射为方法的 Python 客户端。
  • Agentic Integration: 内置 AI 代理的 skills，允许通过自然语言管理工作负载。
  • Cloud-Native Configuration: 可直接发送到云端的 Pythonic 配置规范。