leptonai/leptonai

A Pythonic framework to simplify AI service building

What it solves

NVIDIA DGX Cloud Lepton 플랫폼을 관리하고 상호 작용하기 위한 통합 인터페이스를 제공합니다. Python 또는 명령줄 인터페이스(CLI)에서 직접 엔드포인트, 배치 작업, 클러스터와 같은 AI 워크로드를 배포, 관리 및 호출하는 과정을 단순화합니다.

How it works

이 프로젝트는 Python 라이브러리와 lep CLI 도구로 구성됩니다. 사용자는 CLI를 사용해 엔드포인트, 개발 팟, Ray/Slurm 클러스터와 같은 리소스를 생성 및 관리할 수 있습니다. Python Client는 엔드포인트의 OpenAPI 스키마를 읽어 마치 네이티브 Python 함수처럼 배포된 엔드포인트를 호출할 수 있게 해줍니다. 또한 Claude Code 또는 Codex와 같은 AI 에이전트가 자연어 명령으로 플랫폼을 조작할 수 있는 "skills"도 포함되어 있습니다.

Who it’s for

NVIDIA DGX Cloud Lepton 플랫폼을 사용해 AI 모델 및 워크로드를 배포하고 확장하는 개발자와 AI 엔지니어를 위한 것입니다.

Highlights

  • Unified CLI: 엔드포인트, 배치 작업, 개발 팟, 파인튜닝 작업을 관리하는 단일 lep 명령.
  • Dynamic Client: OpenAPI 스키마를 기반으로 엔드포인트 경로를 자동으로 메서드에 매핑하는 Python 클라이언트.
  • Agentic Integration: 자연어로 워크로드를 관리할 수 있는 AI 에이전트를 위한 내장 스킬.
  • Cloud-Native Configuration: 클라우드에 직접 전달할 수 있는 Pythonic 설정 사양.