BGU-CS-VIL/WTConv

Wavelet Convolutions for Large Receptive Fields. ECCV 2024.

解決的問題

解決了在卷積神經網路（CNN）中實現大感受野的挑戰，而無需承擔使用超大卷積核所帶來的典型計算開銷。

工作原理

WTConv 實作了小波卷積，利用小波變換擴展網路的視野。它提供了 2D 和 1D 的實作（WTConv2d 和 WTConv1d），可輕鬆整合至現有的 CNN 架構中。為提升效能，專案包含一個名為 fast_wtconv 的高效能實作，針對 CUDA、Metal（MPS）和 Triton 後端進行了優化。

適用對象

從事電腦視覺與訊號處理的研究人員與開發者，希望在保持效率的同時提升模型的感受野。

主要亮點

  • 大感受野：專為擴大卷積運算可「看到」的影像區域而設計。
  • 優化的後端：包含 fast_wtconv，可在 CUDA、Metal 和 Triton 上實現高效能執行。
  • 預訓練模型：提供於 ImageNet-1K 上訓練的 WTConvNeXt 模型（Tiny、Small 和 Base）。
  • 靈活整合：與 timm 模型註冊表相容，便於部署。

相關

  • 專案
    v0lta/PyTorch-Wavelet-Toolbox

    一個為信號與影像處理設計的 PyTorch 原生離散與連續小波轉換工具箱，支援 GPU 加速與梯度計算。

  • 專案
    rwth-i6/returnn

    一個為快速多 GPU 訓練與解碼優化之通用循環神經網絡可擴充訓練框架。

  • 專案
    philipperemy/keras-tcn

    一個 Keras 實作的時間卷積網路（Temporal Convolutional Networks, TCN），提供比 LSTM 與 GRU 更穩定且可平行化的長序列建模替代方案。

  • 專案
    PyWavelets/pywt

    一個用於小波轉換的 Python 函式庫，可實現多維訊號與資料的時間-頻率分析。

  • 專案
    CVCUDA/CV-CUDA

    CV‑CUDA 是 NVIDIA 的開源 GPU 加速電腦視覺函式庫。它提供快速、可擴展的影像/影片運算子（調整大小、濾鏡、色彩轉換等），這些運算子完全在 GPU 上執行，並與 C/C++ 和 Python AI 框架整合。透過 Linux 的預先建置 wheels (`cvcuda-cu12` 或 `cvcuda-cu13`) 進行安裝，使用 `nvimgcodec` 將影像直接解碼至 GPU，並在將資料傳送至深度學習模型之前串聯 CV‑CUDA 運算子。該函式庫針對現代 NVIDIA GPU (Turing 及更新版本) 設計，並應用於 Microsoft Bing 視覺搜尋和 Tencent Cloud 影片處理等生產系統中。