kyegomez/VisionMamba

Implementation of Vision Mamba from the paper: "Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model" It's 2.8x faster than DeiT and saves 86.8% GPU memory when performing batch inference to extract features on high-res images

解決的問題

為視覺表示學習提供了一種傳統視覺Transformer（ViT）的高效替代方案。解決了在處理高解析度影像時，標準注意力機制所帶來的高計算成本與高記憶體使用問題。

工作原理

本專案實作了雙向狀態空間模型（SSM）來處理視覺資料。與標準Transformer不同，此架構允許更高效的特徵提取，顯著降低GPU記憶體佔用並提升推論速度。

適用對象

需要在有限GPU記憶體下處理高解析度影像，或對更高推論速度有需求的電腦視覺任務的研究人員與開發者。

主要亮點

  • 批次推論時比DeiT快2.8倍。
  • 從高解析度影像中提取特徵時，GPU記憶體使用量減少86.8%。
  • 支援透過pip輕鬆安裝。

相關

  • 專案
    kyegomez/MultiModalMamba

    一個整合 Vision Transformer (ViT) 與 Mamba 的多模態 AI 模型，能高效處理並解析文字、影像、音訊與影片資料。

  • 專案
    state-spaces/mamba

    Mamba 是一種基於選擇性狀態空間模型（SSM）的線性時間序列建模架構，為 Transformer 提供了一種高效率、次二次的替代方案。

  • Dispatch
    Falcon Mamba 7B 版本說明

    科技創新研究院（TII）發布了 Falcon Mamba 7B，這是首個大規模純粹的狀態空間語言模型（SSLM），在效能上與最先進的 Transformer 模型相當，同時消除了基於注意力的記憶體擴展問題。

  • Dispatch
    Bamba-9B：推理高效的 Hybrid Mamba2 模型

    Bamba-9B 是由 IBM、Princeton、CMU 和 UIUC 開發的 hybrid Mamba2 模型，使用 2.2T 開放數據訓練，在 vLLM 中比 Llama 3.1 8B 實現了 2.5 倍的吞吐量和 2 倍的延遲改進，並可立即在 transformers、vLLM、TRL 和 llama.cpp 中使用。

  • 專案
    modelscope/DiffSynth-Studio

    一個開源的 Diffusion 模型引擎，透過先進的 VRAM 管理與量化技術，使消費級 GPU 上的影像、影片與音訊生成模型的推理與訓練成為可能。