BGU-CS-VIL/WTConv

Wavelet Convolutions for Large Receptive Fields. ECCV 2024.

해결하는 문제

매우 큰 커널과 관련된 일반적인 계산 오버헤드 없이 합성곱 신경망(CNN)에서 큰 수용 필드를 달성하는 문제를 해결합니다.

작동 방식

WTConv는 웨이블릿 변환을 사용하여 네트워크의 시야를 확장하는 웨이블릿 합성곱을 구현합니다. 기존 CNN 아키텍처에 통합할 수 있는 2D 및 1D 구현(WTConv2d 및 WTConv1d)을 제공합니다. 성능을 향상시키기 위해 CUDA, Metal(MPS), Triton 백엔드용으로 최적화된 고성능 구현인 fast_wtconv를 포함하고 있습니다.

대상 사용자

컴퓨터 비전 및 신호 처리 작업 중인 연구자 및 개발자로, 효율성을 유지하면서 모델의 수용 필드를 개선하고자 하는 분들입니다.

주요 특징

  • 큰 수용 필드: 합성곱 연산이 "보는" 이미지 영역을 특별히 확대하도록 설계되었습니다.
  • 최적화된 백엔드: CUDA, Metal, Triton에서 고성능 실행을 위한 fast_wtconv 포함.
  • 사전 학습된 모델: ImageNet-1K에서 학습된 WTConvNeXt 모델(Tiny, Small, Base) 제공.
  • 유연한 통합: timm 모델 레지스트리와 호환되어 간편한 배포 가능.

관련

  • 프로젝트
    v0lta/PyTorch-Wavelet-Toolbox

    신호 및 이미지 처리를 위한 GPU 가속과 그래디언트 지원을 갖춘 PyTorch 네이티브 이산 및 연속 웨이블릿 변환 도구상자입니다.

  • 프로젝트
    rwth-i6/returnn

    고속 다중 GPU 학습과 디코딩을 최적화한 유니버설 재귀 신경망을 위한 확장 가능한 학습 프레임워크입니다.

  • 프로젝트
    philipperemy/keras-tcn

    Keras 로 구현된 Temporal Convolutional Networks(TCN)로, 장기 시퀀스 모델링에서 LSTM 및 GRU에 대한 보다 안정적이고 병렬화 가능한 대안을 제공합니다.

  • 프로젝트
    PyWavelets/pywt

    다차원 신호 및 데이터의 시간-주파수 분석을 가능하게 하는 파이썬 라이브러리입니다.

  • 프로젝트
    CVCUDA/CV-CUDA

    CV‑CUDA는 NVIDIA의 오픈소스 GPU 가속 컴퓨터 비전 라이브러리입니다. GPU에서 완전히 실행되는 빠르고 확장 가능한 이미지/비디오 연산자(크기 조정, 필터, 색상 변환 등)를 제공하며 C/C++ 및 Python AI 프레임워크와 통합됩니다. Linux용 사전 빌드된 wheel(`cvcuda-cu12` 또는 `cvcuda-cu13`)을 통해 설치하고, `nvimgcodec`으로 이미지를 GPU로 직접 디코딩하며, 딥러닝 모델에 데이터를 공급하기 전에 CV‑CUDA 연산자를 연결할 수 있습니다. 이 라이브러리는 최신 NVIDIA GPU(Turing 이상)를 대상으로 하며 Microsoft Bing 시각적 검색 및 Tencent Cloud 비디오 처리와 같은 프로덕션 시스템에서 사용됩니다.