NVIDIA/aistore

何を解決するか

AIStore (AIS) は、AI および機械学習ワークロードで一般的なストレージのボトルネックに対処します。大規模なデータセットを複数のクラウドバックエンドおよびローカルクラスタ間で処理できる、高性能でスケーラブルな分散ストレージスタックを提供し、リモートデータを単なるキャッシュとして扱う場合に通常見られるパフォーマンスの低下を回避します。

動作方法

AIS は、ベアメタル Linux マシンまたは Kubernetes 上にデプロイ可能な、エラスティックなストレージノードとゲートウェイのクラスタとして動作します。独立したクラスタ間でデータを管理するためのユニファイドネームスペースを採用し、ネイティブな HTTP ベース API と S3 互換 API をサポートしています。ML パイプラインのオーバーヘッドを削減するために、1 回の呼び出しで完全なトレーニングバッチを取得できる「Get-Batch」操作を備えています。また、データ変換をストレージノード上で直接実行できる ETL オフロードもサポートしており、データ移動を最小限に抑えます。

対象ユーザー

ペタスケールのデータセットを管理し、トレーニングクラスタへの高スループットなデータ配信を確保したい AI 研究者、データサイエンティスト、ML エンジニア向けに設計されています。

主な特徴

• マルチクラウドアクセス: AWS S3、GCS、Azure、OCI 间のコンテンツをシームレスに管理。
• 線形スケーラビリティ: クラスタ化ノード数が増加してもパフォーマンスが一貫して維持される。
• Get-Batch: TAR または他のシリアル化形式で複数オブジェクトを1回の操作で取得し、ML パイプラインに最適化。
• ETL オフロード: データに近い場所で I/O 高負荷の変換を実行可能（インラインまたはバッチ処理）。
• 柔軟なデプロイ: 単一の Linux VM からペタスケールの Kubernetes クラスタまで、あらゆる環境で動作可能。
• ネイティブ PyTorch 統合: PyTorch ワークフロー用に専用のデータセット、サンプラー、データローダーを提供。