kyegomez/VisionMamba

Implementation of Vision Mamba from the paper: "Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model" It's 2.8x faster than DeiT and saves 86.8% GPU memory when performing batch inference to extract features on high-res images

解决的问题

为视觉表示学习提供了一种传统视觉Transformer（ViT）的高效替代方案。解决了在处理高分辨率图像时，标准注意力机制带来的高计算成本和高内存使用问题。

工作原理

该项目实现了双向状态空间模型（SSM）来处理视觉数据。与标准Transformer不同，该架构允许更高效的特征提取，显著降低GPU内存占用并提升推理速度。

适用人群

需要在有限GPU内存下处理高分辨率图像，或对更高推理速度有需求的计算机视觉任务的研究人员和开发者。

主要亮点

  • 批量推理时比DeiT快2.8倍。
  • 在从高分辨率图像中提取特征时，GPU内存使用量减少86.8%。
  • 支持通过pip轻松安装。

相关

  • 项目
    kyegomez/MultiModalMamba

    一个融合 Vision Transformer (ViT) 与 Mamba 的多模态 AI 模型，可高效处理并解析文本、图像、音频和视频数据。

  • 项目
    state-spaces/mamba

    Mamba 是一种基于选择性状态空间模型（SSM）的线性时间序列建模架构，为 Transformer 提供了一种高性能、次二次的替代方案。

  • Dispatch
    Falcon Mamba 7B 发布说明

    技术创新研究所（TII）发布了 Falcon Mamba 7B，这是首个大规模纯状态空间语言模型（SSLM），其性能可与最先进的 Transformer 模型相匹配，同时消除了基于注意力的内存扩展问题。

  • Dispatch
    Bamba-9B: 推理高效的 Hybrid Mamba2 模型

    Bamba-9B 是由 IBM、普林斯顿大学、CMU 和 UIUC 开发的 hybrid Mamba2 模型，基于 2.2T 开放 token 训练。在 vLLM 中，其吞吐量比 Llama 3.1 8B 高出 2.5 倍，延迟降低了 2 倍，并可立即在 transformers、vLLM、TRL 和 llama.cpp 中使用。

  • 项目
    modelscope/DiffSynth-Studio

    一个开源的 Diffusion 模型引擎，通过先进的 VRAM 管理和量化技术，使消费级 GPU 上的图像、视频和音频生成模型的推理与训练成为可能。