ai-toolkit: コンシューマー向けハードウェアで拡散画像、ビデオ、およびオーディオモデルを微調整するためのオールインワン・トレーニング・スイート

何を解決するか

AI Toolkitは、コンシューマー向けハードウェアで拡散モデルのトレーニングを容易にするために設計されたオールインワン・トレーニング・スイートです。基礎となるトレーニング・パイプラインに関する深い技術的専門知識を必要とせずに、画像、ビデオ、およびオーディオモデルの微調整プロセスを簡素化します。

仕組み

このツールキットは、設定ファイル（YAML）と選択可能なインターフェースを使用して、さまざまな拡散モデルをトレーニングするための統一されたフレームワークを提供します。ユーザーは、コマンドラインインターフェース（CLI）またはウェブベースのグラフィカルユーザーインターフェース（GUI）を介してスイートを実行し、トレーニング・ジョブを開始、停止、および監視することができます。LoRAおよびLoKrトレーニング手法をサポートしており、ユーザーはモデルの特定のレイヤーをトレーニングの対象にしたり、特定の重みをプロセスを最適化するために除外したりすることができます。

対象ユーザー

AIアーティスト、開発者、および研究者で、自身のハードウェアまたはRunPodやModalのようなクラウドベースのGPUプロバイダーを使用して、特定のスタイルや主題のために拡散モデルを微調整したいと考えている人々。

ハイライト

• 幅広いモデルのサポート: 最新の画像（例：FLUX.1, SDXL）、ビデオ（例：Wan 2.1, LTX-2）、およびオーディオ（例：Ace Step）モデルの幅広いラインナップをサポートしています。
• 柔軟なトレーニング: only_if_contains および ignore_if_contains を使用して特定のネットワークレイヤーを対象にする機能を持つ、LoRAおよびLoKrトレーニングを提供します。
• ユーザーフレンドリーなインターフェース: 簡単なジョブ管理と監視のためのウェブUIを含み、オプションの認証機能により安全なリモートアクセスが可能です。
• 自動化されたデータセット処理: 画像のリサイズとアスペクト比を自動的に処理するため、手動でのクロッピングやアップスケーリングの必要がありません。
• クロスプラットフォーム対応: Linux、Windows、および実験的なSilicon Macsのサポートに対応しています。