leptonai/leptonai
A Pythonic framework to simplify AI service building
What it solves
它提供了一個統一的介面，用於管理與互動 NVIDIA DGX Cloud Lepton 平台。它簡化了直接從 Python 或指令列介面（CLI）部署、管理與呼叫 AI 工作負載（例如端點、批次工作與叢集）的流程。
How it works
此專案由一個 Python 函式庫與 lep CLI 工具組成。使用者可以透過 CLI 建立與管理端點、開發 pod、以及 Ray/Slurm 叢集等資源。Python Client 允許使用者像呼叫本地 Python 函式一樣呼叫已部署的端點，透過讀取端點的 OpenAPI schema。除此之外，它還包含「skills」，讓 AI 代理（如 Claude Code 或 Codex）能以自然語言指令操作平台。
Who it’s for
使用 NVIDIA DGX Cloud Lepton 平台部署與擴展 AI 模型與工作負載的開發者與 AI 工程師。
Highlights
- Unified CLI: 單一
lep指令即可管理端點、批次工作、開發 pod 與微調工作。 - Dynamic Client: 依據 OpenAPI schema 自動將端點路徑映射為 Python 方法的客戶端。
- Agentic Integration: 內建 AI 代理的 skills，讓工作負載可透過自然語言管理。
- Cloud-Native Configuration: 可直接送往雲端的 Pythonic 設定規格。