BGU-CS-VIL/WTConv

Wavelet Convolutions for Large Receptive Fields. ECCV 2024.

解决的问题

解决了在卷积神经网络（CNN）中实现大感受野的挑战，而无需承担使用超大卷积核所带来的典型计算开销。

工作原理

WTConv 实现了小波卷积，利用小波变换扩展网络的视野。它提供了 2D 和 1D 的实现（WTConv2d 和 WTConv1d），可轻松集成到现有的 CNN 架构中。为提升性能，项目包含一个名为 fast_wtconv 的高性能实现，针对 CUDA、Metal（MPS）和 Triton 后端进行了优化。

适用人群

从事计算机视觉和信号处理的研究人员与开发者，希望在保持效率的同时提升模型的感受野。

主要亮点

  • 大感受野：专为扩大卷积操作可“看到”的图像区域而设计。
  • 优化的后端：包含 fast_wtconv，可在 CUDA、Metal 和 Triton 上实现高性能执行。
  • 预训练模型：提供在 ImageNet-1K 上训练的 WTConvNeXt 模型（Tiny、Small 和 Base）。
  • 灵活集成：与 timm 模型注册表兼容，便于部署。

相关

  • 项目
    v0lta/PyTorch-Wavelet-Toolbox

    一个为信号和图像处理设计的 PyTorch 原生小波变换工具箱，支持 GPU 加速和梯度计算。

  • 项目
    rwth-i6/returnn

    一个为快速多 GPU 训练和解码优化的通用循环神经网络可扩展训练框架。

  • 项目
    philipperemy/keras-tcn

    一个 Keras 实现的时间卷积网络（Temporal Convolutional Networks, TCN），提供比 LSTM 与 GRU 更稳定且可并行化的长序列建模替代方案。

  • 项目
    PyWavelets/pywt

    一个用于小波变换的 Python 库，可实现多维信号和数据的时间-频率分析。

  • 项目
    CVCUDA/CV-CUDA

    CV‑CUDA 是 NVIDIA 的开源 GPU 加速计算机视觉库。它提供快速、可扩展的图像/视频算子（调整大小、滤镜、色彩转换等），这些算子完全在 GPU 上运行，并与 C/C++ 和 Python AI 框架集成。通过 Linux 的预构建 wheels (`cvcuda-cu12` 或 `cvcuda-cu13`) 进行安装，使用 `nvimgcodec` 将图像直接解码至 GPU，并在将数据馈送至深度学习模型之前串联 CV‑CUDA 算子。该库针对现代 NVIDIA GPU (Turing 及更新版本) 设计，并应用于 Microsoft Bing 视觉搜索和 Tencent Cloud 视频处理等生产系统中。