leptonai: NVIDIA DGX Cloud Lepton에서 AI 워크로드를 관리하고 운영하기 위한 Python 라이브러리 및 CLI

해결하는 문제

NVIDIA DGX Cloud Lepton 플랫폼을 관리하고 상호작용하기 위한 통합 인터페이스를 제공합니다. 엔드포인트, 배치 작업, 클러스터와 같은 AI 워크로드를 Python 또는 명령줄 인터페이스(CLI)에서 직접 배포, 관리 및 호출하는 프로세스를 단순화합니다.

작동 방식

이 프로젝트는 Python 라이브러리와 lep CLI 도구로 구성됩니다. 사용자는 CLI를 사용하여 엔드포인트, dev pods, Ray/Slurm 클러스터와 같은 리소스를 생성하고 관리할 수 있습니다. Python Client는 엔드포인트의 OpenAPI 스키마를 읽어 배포된 엔드포인트를 마치 네이티브 Python 함수처럼 호출할 수 있게 합니다. 또한, AI 에이전트(Claude Code 또는 Codex와 같은)가 자연어 명령을 통해 플랫폼을 운영할 수 있도록 하는 "skills"가 포함되어 있습니다.

대상 사용자

NVIDIA DGX Cloud Lepton 플랫폼을 사용하여 AI 모델과 워크로드를 배포하고 확장하는 개발자 및 AI 엔지니어.

주요 특징

• 통합 CLI: 엔드포인트, 배치 작업, dev pods, 파인튜닝 작업을 관리하기 위한 단일 lep 명령.
• 동적 클라이언트: OpenAPI 스키마를 기반으로 엔드포인트 경로를 메서드로 자동 매핑하는 Python 클라이언트.
• 에이전트 통합: AI 에이전트가 자연어를 통해 워크로드를 관리할 수 있도록 하는 내장된 skills.
• 클라우드 네이티브 설정: 클라우드로 직접 전송할 수 있는 Pythonic한 설정 사양.