mosaicml/streaming

A Data Streaming Library for Efficient Neural Network Training

関連

  • プロジェクト
    NVIDIA/aistore

    AIワークロードに特化した高性能な分散ストレージスタック。マルチクラウド環境における ML パイプラインの線形スケーラビリティと最適化されたデータ取得を実現。

  • プロジェクト
    meta-pytorch/torchrec

    複数のGPUに分散された巨大な埋め込みテーブルを備えた大規模推薦システムのトレーニングおよびデプロイに向けた、スパーシティおよび並列処理のプリミティブを提供するPyTorchドメインライブラリ。

  • プロジェクト
    lhotse-speech/lhotse

    機械学習トレーニング向けに、音声、音声、動画、画像データのロードと操作を最適化する柔軟なマルチモーダルデータ準備用Pythonライブラリです。

  • プロジェクト
    meta-pytorch/data

    エポックの途中からのチェックポイント作成のための状態保持型ロードと、データ前処理のための構成可能なイテレータを導入する、PyTorch用のスケーラブルなデータロードライブラリ。

  • プロジェクト
    mosaicml/composer

    PyTorch ベースのディープラーニングライブラリで、スケールした分散トレーニングをシンプルにし、メモリ最適化やアルゴリズム高速化ツールを提供してトレーニング時間とコストを削減します。