f-dangel/backpack

BackPACK - a backpropagation package built on top of PyTorch which efficiently computes quantities other than the gradient.

何を解決するか

BackPACKは、ニューラルネットワークの学習プロセスから追加情報を抽出するプロセスを簡素化します。勾配の計算は標準的ですが、研究者たちはミニバッチ内の個々の勾配や勾配の分散といった、標準的なPyTorchでは大きなオーバーヘッドや手動作業を伴って実装が難しいメトリクスを必要とする場合があります。

仕組み

PyTorch用の拡張として構築されたBackPACKは、学習プロセスのバックワードパスを変更します。既にバックプロパゲーションされている情報を再利用することで、標準的な勾配を超える量（対角およびKronecker近似を含む2次情報、および2次モーメントなど）を効率的に計算します。

対象ユーザー

PyTorchモデルの勾配フローと学習ダイナミクスに関する深い洞察が必要な機械学習の研究者や開発者。高度な最適化や分析ツールの実装に役立ちます。

主な特徴

  • 効率的な計算: 既存のバックプロパゲーションデータを再利用し、オーバーヘッドを最小限に抑えます。
  • 拡張されたメトリクス: ミニバッチ内の各サンプルごとの個々の勾配を提供します。
  • 詳細な分析: 勾配の分散と2次モーメントの推定値を計算します。
  • 2次情報: 対角およびKronecker近似をサポートし、近似的な2次情報の計算を可能にします。

関連

  • プロジェクト
    v0lta/PyTorch-Wavelet-Toolbox

    信号および画像処理向けの、GPUアクセラレーションと勾配サポートを備えた、PyTorchネイティブな離散および連続ウェーブレット変換ツールボックス。

  • プロジェクト
    catalyst-team/catalyst

    トレーニングループのボイラープレートを削除し、実験と再現性を加速する深層学習 R&D 用 PyTorch フレームワーク。

  • プロジェクト
    TorchIO-project/torchio

    PyTorch用のPythonライブラリで、3D医療画像の効率的な読み込み、前処理、拡張ツールを提供します。

  • プロジェクト
    noahgolmant/pytorch-hessian-eigenthings

    二次メモリのボトルネックなしに、ニューラルネットワークのヘシアン固有値分解、トレース、およびスペクトル密度を効率的に計算するためのPyTorchライブラリ。

  • プロジェクト
    MooreThreads/torch_musa

    torch_musa は、Moore Threads GPU用の **MUSA** バックエンドを追加する PyTorch 拡張です。標準の PyTorch API を模倣しており、`cuda` を `musa` に置き換えるだけで利用可能です。C/C++ 拡張のビルドツール、**mccl** バックエンドによる分散トレーニング、および簡単なセットアップ用の Docker イメージを含んでいます。また、torchvision、torchaudio、およびその他の人気 PyTorch ライブラリの MUSA 対応ビルドも提供しています。事前ビルドされた wheel からインストールするか、MUSA SDK をインストール後にソースからビルドできます。プロジェクトは BSD ライセンスです。