kyegomez/VisionMamba

Implementation of Vision Mamba from the paper: "Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model" It's 2.8x faster than DeiT and saves 86.8% GPU memory when performing batch inference to extract features on high-res images

何を解決するか

従来のVision Transformer (ViT)の代替手段として、視覚的表現学習における効率性を提供します。高解像度画像を処理する際の標準的なアテンション機構に伴う高い計算コストとメモリ使用量という課題に対処します。

動作方法

このプロジェクトは、視覚データを処理するための双方向状態空間モデル (SSM) を実装しています。標準的なTransformerとは異なり、このアーキテクチャはより効率的な特徴抽出を可能にし、GPUメモリ使用量を大幅に削減し、推論速度を向上させます。

対象ユーザー

限られたGPUメモリで高解像度画像処理が必要なコンピュータビジョンタスクに取り組んでいる研究者や開発者です。

特徴

  • バッチ推論時、DeiTよりも2.8倍高速。
  • 高解像度画像からの特徴抽出時、GPUメモリ使用量を86.8%削減。
  • pipによる簡単なインストール。

関連

  • プロジェクト
    kyegomez/MultiModalMamba

    Vision Transformer (ViT) と Mamba を統合したマルチモーダルAIモデルで、テキスト、画像、音声、動画データを同時に効率的に処理・解釈します。

  • プロジェクト
    state-spaces/mamba

    Mambaは、選択的状態空間モデル（SSM）に基づく線形時間のシーケンスモデリングアーキテクチャであり、Transformerの代替手段として、高パフォーマンスかつ二次未満のスケーリングを実現します。

  • Dispatch
    Falcon Mamba 7B リリースノート

    Technology Innovation Institute (TII) は、最先端のトランスフォーマーモデルと同等の性能を持ち、アテンションベースのメモリスケーリング問題を排除した、初の大規模純粋 State Space Language Model (SSLM) である Falcon Mamba 7B をリリースしました。

  • Dispatch
    Bamba-9B: 推論効率の高いハイブリッド Mamba2 モデル

    IBM、Princeton、CMU、UIUC による、2.2T のオープンなトークンでトレーニングされたハイブリッド Mamba2 モデルである Bamba-9B は、vLLM において Llama 3.1 8B に対して 2.5 倍のスループットと 2 倍のレイテンシ向上を達成し、transformers、vLLM、TRL、llama.cpp で即座に使用可能です。

  • プロジェクト
    modelscope/DiffSynth-Studio

    コンシューマー向けGPU上で、高度なVRAM管理と量子化を活用して、画像・動画・音声生成モデルの推論とトレーニングを可能にするオープンソースDiffusionモデルエンジンです。