leptonai/leptonai

解決的問題

Lepton AI 提供了一種簡化的方式來管理與操作 NVIDIA DGX Cloud Lepton 平台。它透過提供統一的 Python 庫與命令列介面（CLI），消除雲端基礎設施管理的複雜性，讓開發者能輕鬆部署與互動 AI 工作負載。

工作原理

此專案包含兩個主要介面：

1. lep CLI：一個命令列工具，用於建立與管理端點、批次作業、開發 Pod、儲存空間、金鑰與叢集（Ray 與 Slurm）。
2. Client Python 庫：一個讀取端點 OpenAPI 模式的工具，讓開發者能將已部署的雲端點當作原生 Python 函數來呼叫。

此外，此專案還包含「技能」功能，讓 AI 代理（如 Claude Code 或 Codex）可透過 lep CLI 使用自然語言命令來操作 Lepton 平台。

適用對象

使用 NVIDIA DGX Cloud Lepton 平台來部署、擴展與管理 AI 模型及訓練作業的開發者與機器學習工程師。

主要亮點

• 統一管理：透過單一 CLI 管理端點、批次作業與開發 Pod。
• 動態客戶端：Python 客戶端可自動從端點的 OpenAPI 模式中發現可用路徑與文件。
• 代理式操作：包含 AI 代理插件，可透過自然語言管理工作負載。
• 彈性驗證：支援 API 金鑰與安全端點預設值，實現受控存取。