pytorch/ignite

High-level library to help with training and evaluating neural networks in PyTorch flexibly and transparently.

解決する課題

Igniteは、PyTorchにおけるニューラルネットワークのトレーニングと評価のプロセスを簡素化します。エポックやイテレーションのために複雑な for や while ループを手動で記述する必要がなくなり、トレーニングのライフサイクルを管理するためのよりクリーンで透明性の高い方法を提供します。

仕組み

Igniteは、エンジンとイベントシステムを使用してトレーニングループを管理します。単一のトレーニングステップ用の関数を定義すると、エンジンがその実行を処理します。その後、トレーニング開始、エポック終了、イテレーション完了などの特定のイベントに「ハンドラー」をアタッチすることで、ログの記録、モデルチェックポイントの保存、バリデーションの実行といったアクションをトリガーできます。これはすべてを制御するフレームワークではなくライブラリであるため、既存のPyTorchコードに必要な箇所だけを統合することができます。

対象ユーザー

モデルのトレーニングや評価ロジックを完全に制御しつつ、トレーニングスクリプト内のボイラープレートコードを削減したいPyTorchユーザー向けに設計されています。

主な特徴

  • ループの簡素化： 手動のトレーニングループを柔軟なエンジンシステムに置き換えます。
  • 強力なイベントシステム： トレーニングプロセスの特定のポイントで任意の関数をトリガーでき、カスタムイベントやイベントフィルタリングもサポートしています。
  • 組み込みメトリクス： Accuracy、Precision、Recallなどのすぐに使えるメトリクスが含まれており、標準的な算術演算で簡単に組み合わせることができます。
  • 拡張可能なAPI： ログ記録やアーティファクトの保存といった一般的なタスク用の組み込みハンドラーを提供しつつ、カスタム拡張に対してもオープンです。
  • 非侵入型： プロジェクト構造全体を変更することなく、段階的に導入できるライブラリとして設計されています。

関連

  • プロジェクト
    catalyst-team/catalyst

    トレーニングループのボイラープレートを削除し、実験と再現性を加速する深層学習 R&D 用 PyTorch フレームワーク。

  • プロジェクト
    Lightning-AI/pytorch-lightning

    PyTorch のエンジニアリング・ボイラープレートを抽象化し、研究者がさまざまなハードウェア上で AI モデルを大規模にスケールアップして事前学習および微調整できるディープラーニング・フレームワークです。

  • プロジェクト
    open-mmlab/mmengine

    ディープラーニングモデルのトレーニングエンジンとして機能する、標準化されたコンポーネント（トレーニングループ、設定、モニタリング）を提供する基盤的な PyTorch ライブラリ。

  • プロジェクト
    huggingface/accelerate

    Accelerate は、複数の GPU、TPU、または混合精度でトレーニングスクリプトを実行するためのボイラープレートを排除する、薄い PyTorch ラッパーです。独自のトレーニングループを維持し、数行（Accelerator オブジェクト、prepare() 呼び出し、accelerator.backward()）を追加するだけです。オプションの CLI（accelerate config / accelerate launch）とノートブックランチャーも提供します。CPU、シングル/マルチ GPU、マルチ CPU、TPU、FP16/BF16/FP8 混合精度、および実験的な DeepSpeed、FSDP、Megatron-LM をサポートします。分散セットアップの手間をかけずにトレーニングループを制御したい場合は使用してください。完全に高レベルなフレームワークが必要な場合はスキップしてください。Python 3.11+ と PyTorch 2.6.0+ が必要です。pip install accelerate でインストールします。

  • プロジェクト
    sktime/pytorch-forecasting

    Temporal Fusion Transformers や N-BEATS などの最先端のディープラーニングアーキテクチャを備えた、PyTorchベースの時系列予測用ライブラリです。