leptonai/leptonai

何を解決するか

Lepton AI は、NVIDIA DGX Cloud Lepton プラットフォームの管理と運用を簡素化する方法を提供します。クラウドインフラストラクチャの管理の複雑さを排除し、AIワークロードのデプロイと相互作用を統合された Python ライブラリとコマンドラインインターフェース (CLI) で行えるようにします。

仕組み

このプロジェクトは、2つの主要なインターフェースで構成されています。

1. lep CLI：エンドポイント、バッチジョブ、開発ポッド、ストレージ、シークレット、クラスタ（Ray および Slurm）の作成と管理に使用するコマンドラインツール。
2. Client Python ライブラリ：エンドポイントの OpenAPI スキーマを読み取り、開発者がデプロイされたクラウドエンドポイントをネイティブな Python 関数のように呼び出せるようにするツール。

さらに、このプロジェクトには「スキル」と呼ばれる機能があり、AIエージェント（Claude Code や Codex など）が lep CLI を介して自然言語コマンドで Lepton プラットフォームを操作できるようにします。

対象ユーザー

NVIDIA DGX Cloud Lepton プラットフォームを使用して、AIモデルやトレーニングジョブのデプロイ、スケーリング、管理を行う開発者およびMLエンジニア。

特徴

• 統合管理：単一の CLI からエンドポイント、バッチジョブ、開発ポッドを管理可能。
• 動的クライアント：Python クライアントはエンドポイントの OpenAPI スキーマから利用可能なパスとドキュメントを自動的に検出します。
• エージェント操作：AIエージェントが自然言語でワークロードを管理できるプラグインを備えています。
• 柔軟な認証：APIトークンとセキュアなエンドポイントデフォルトをサポートし、アクセス制御を実現します。