leptonai/leptonai

해결하는 문제

Lepton AI는 NVIDIA DGX Cloud Lepton 플랫폼을 관리하고 운영하는 간편한 방법을 제공합니다. 클라우드 인프라스트럭처 관리의 복잡성을 제거하고, AI 워크로드를 배포하고 상호작용할 수 있도록 통합된 Python 라이브러리와 명령줄 인터페이스(CLI)를 제공합니다.

작동 방식

이 프로젝트는 두 가지 주요 인터페이스로 구성되어 있습니다.

1. lep CLI: 에ンド포인트, 배치 작업, 개발 포드, 스토리지, 시크릿, 클러스터(Ray 및 Slurm)를 생성하고 관리하는 데 사용되는 명령줄 도구입니다.
2. Client Python 라이브러리: 에ンド포인트의 OpenAPI 스키마를 읽어내고, 개발자가 배포된 클라우드 에ンド포인트를 마치 네이티브 Python 함수처럼 호출할 수 있도록 해주는 도구입니다.

또한, 이 프로젝트는 AI 에이전트(Claude Code 또는 Codex 등)가 lep CLI를 통해 자연어 명령어로 Lepton 플랫폼을 운영할 수 있도록 해주는 "스킬" 기능을 포함하고 있습니다.

대상 사용자

NVIDIA DGX Cloud Lepton 플랫폼을 사용하여 AI 모델과 학습 작업을 배포, 확장, 관리하는 개발자 및 ML 엔지니어입니다.

주요 특징

• 통합 관리: 단일 CLI에서 에ンド포인트, 배치 작업, 개발 포드를 모두 관리할 수 있습니다.
• 동적 클라이언트: Python 클라이언트는 에ンド포인트의 OpenAPI 스키마에서 사용 가능한 경로와 문서를 자동으로 탐지합니다.
• 에이전트 기반 운영: AI 에이전트가 자연어로 워크로드를 관리할 수 있는 플러그인을 포함합니다.
• 유연한 인증: API 토큰과 보안된 에ンド포인트 기본값을 지원하여 접근 제어를 가능하게 합니다.