BGU-CS-VIL/WTConv

Wavelet Convolutions for Large Receptive Fields. ECCV 2024.

何を解決するか

畳み込みニューラルネットワーク（CNN）で非常に大きなカーネルと関連する通常の計算オーバーヘッドなしに、大きな受容 field を実現する課題に対処します。

動作方法

WTConv は、ウェーブレット変換を使用してネットワークの視野を拡張するウェーブレット畳み込みを実装しています。既存の CNN アーキテクチャに統合できる 2D および 1D の実装（WTConv2d および WTConv1d）を提供します。パフォーマンスを向上させるために、CUDA、Metal（MPS）、Triton ベンダーバックエンド向けに最適化された高性能実装 fast_wtconv を含んでいます。

対象ユーザー

コンピュータビジョンおよび信号処理に取り組んでいる研究者や開発者で、効率を維持しながらモデルの受容 field を改善したい方。

特徴

  • 大きな受容 field：畳み込み演算が「見られる」画像領域を特に拡大するように設計されています。
  • 最適化されたバックエンド：CUDA、Metal、Triton での高速実行を可能にする fast_wtconv を含みます。
  • 事前学習済みモデル：ImageNet-1K で学習された WTConvNeXt モデル（Tiny、Small、Base）を提供します。
  • 柔軟な統合：timm モデルレジストリと互換性があり、簡単にデプロイできます。

関連

  • プロジェクト
    v0lta/PyTorch-Wavelet-Toolbox

    信号および画像処理向けの、GPUアクセラレーションと勾配サポートを備えた、PyTorchネイティブな離散および連続ウェーブレット変換ツールボックス。

  • プロジェクト
    rwth-i6/returnn

    高速なマルチGPU学習とデコードを最適化した、汎用再帰型ニューラルネットワーク用の拡張可能な学習フレームワーク。

  • プロジェクト
    philipperemy/keras-tcn

    Keras で実装された Temporal Convolutional Networks（TCN）で、長系列モデリングにおいて LSTM や GRU の代替として、より安定かつ並列化可能な手法を提供します。

  • プロジェクト
    PyWavelets/pywt

    複数次元にわたる信号やデータの時間周波数解析を可能にする、Python用のウェーブレット変換ライブラリ。

  • プロジェクト
    CVCUDA/CV-CUDA

    CV‑CUDAは、NVIDIAのオープンソースGPUアクセラレーション・コンピュータビジョンライブラリです。高速でスケーラブルな画像/動画オペレータ（リサイズ、フィルタ、色変換など）を提供し、すべてGPU上で実行され、C/C++およびPythonのAIフレームワークと統合されます。Linux用のビルド済みwheel（`cvcuda-cu12`または`cvcuda-cu13`）からインストールし、`nvimgcodec`を使用して画像を直接GPUにデコードし、ディープラーニングモデルにデータを供給する前にCV‑CUDAオペレータをチェーンさせることができます。このライブラリは最新のNVIDIA GPU（Turing以降）をターゲットとしており、Microsoft Bingのビジュアル検索やTencent Cloudの動画処理などの本番システムで使用されています。