facebookresearch/optimizers

For optimization algorithm research and development.

何を解決するか

高パフォーマンスな機械学習トレーニング向けに設計された、高度なPyTorch最適化アルゴリズムのコレクションを提供します。特に分散環境と効率的な勾配平均に焦点を当てています。

動作方法

このリポジトリは、PyTorchワークフローに統合可能な特別な最適化手法を実装しています。現在、収束を改善するために前処理（preconditioning）を使用する「Distributed Shampoo」、およびトレーニングモードと評価モード間を切り替えるメカニズムを用いて、異なるシーケンス間の勾配計算を処理する「GPA-AdamW（Generalized Primal Averaging）」を含んでいます。

対象ユーザー

PyTorchで大規模モデルをトレーニングする際に、高効率な最適化アルゴリズムを必要とする機械学習研究者および開発者です。

特徴

  • 最適化された前処理のためのDistributed Shampooを実装。
  • 一般化されたプライマル平均のためのGPA-AdamWを含む。
  • 外部の共同開発・開発を想定して設計。
  • PyTorchと完全に互換性あり。

関連

  • プロジェクト
    mosaicml/composer

    PyTorch ベースのディープラーニングライブラリで、スケールした分散トレーニングをシンプルにし、メモリ最適化やアルゴリズム高速化ツールを提供してトレーニング時間とコストを削減します。

  • プロジェクト
    pytorch/ao

    モデルのトレーニングと推論を高速化し、メモリ使用量を削減するための、PyTorchネイティブな最適化ライブラリ。量子化とスパース性のツールを提供します。

  • プロジェクト
    pypose/bae

    PyTorchベースのライブラリで、ロボティクスのスパース問題（例：バンドル調整、ポーズグラフ最適化）に正確な2次最適化（Levenberg-Marquardt、Schur補完）を提供。CUDA加速、PyPose統合、torch.compile対応を備えています。

  • プロジェクト
    HomebrewML/HeavyBall

    コンパイル済みで構成可能な構成要素を使用して、操作をTritonカーネルに融合し、より高速なトレーニングとより低いメモリ使用量を実現する、高性能なPyTorchオプティマイザライブラリ。

  • プロジェクト
    kozistr/pytorch_optimizer

    PyTorch互換性のあるライブラリであり、100以上の研究用オプティマイザ、複数の学習率スケジューラ、損失関数を単一の一貫したAPIを通じて提供し、低精度トレーニングのためのオプションの統合機能も備えています。