leptonai: NVIDIA DGX Cloud Lepton 上で AI ワークロードを管理・運用するための Python ライブラリおよび CLI

解決する課題

NVIDIA DGX Cloud Lepton プラットフォームを管理・操作するための統一されたインターフェースを提供します。エンドポイント、バッチジョブ、クラスターなどの AI ワークロードのデプロイ、管理、および呼び出しのプロセスを、Python またはコマンドラインインターフェース (CLI) から直接行うことを簡素化します。

仕組み

このプロジェクトは、Python ライブラリと lep CLI ツールで構成されています。ユーザーは CLI を使用して、エンドポイント、dev pods、Ray/Slurm クラスターなどのリソースを作成・管理できます。Python の Client は、エンドポイントの OpenAPI スキーマを読み取ることで、デプロイされたエンドポイントをネイティブな Python 関数のように呼び出すことを可能にします。さらに、AI エージェント (Claude Code や Codex など) が自然言語コマンドを介してプラットフォームを操作できるようにする「スキル」が含まれています。

対象ユーザー

NVIDIA DGX Cloud Lepton プラットフォームを使用して AI モデルやワークロードをデプロイおよびスケールさせる開発者や AI エンジニア。

ハイライト

• Unified CLI: エンドポイント、バッチジョブ、dev pods、および fine-tuning ジョブを管理するための単一の lep コマンド。
• Dynamic Client: OpenAPI スキーマに基づいて、エンドポイントのパスをメソッドに自動的にマッピングする Python クライアント。
• Agentic Integration: AI エージェントが自然言語を介してワークロードを管理するための組み込みスキル。
• Cloud-Native Configuration: クラウドに直接送信できる Pythonic な構成仕様。