kyegomez/VisionMamba
Implementation of Vision Mamba from the paper: "Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model" It's 2.8x faster than DeiT and saves 86.8% GPU memory when performing batch inference to extract features on high-res images
何を解決するか
従来のVision Transformer (ViT)の代替手段として、視覚的表現学習における効率性を提供します。高解像度画像を処理する際の標準的なアテンション機構に伴う高い計算コストとメモリ使用量という課題に対処します。
動作方法
このプロジェクトは、視覚データを処理するための双方向状態空間モデル (SSM) を実装しています。標準的なTransformerとは異なり、このアーキテクチャはより効率的な特徴抽出を可能にし、GPUメモリ使用量を大幅に削減し、推論速度を向上させます。
対象ユーザー
限られたGPUメモリで高解像度画像処理が必要なコンピュータビジョンタスクに取り組んでいる研究者や開発者です。
特徴
- バッチ推論時、DeiTよりも2.8倍高速。
- 高解像度画像からの特徴抽出時、GPUメモリ使用量を86.8%削減。
- pipによる簡単なインストール。
関連
- プロジェクト
- プロジェクト
state-spaces/mambaMambaは、選択的状態空間モデル（SSM）に基づく線形時間のシーケンスモデリングアーキテクチャであり、Transformerの代替手段として、高パフォーマンスかつ二次未満のスケーリングを実現します。
- Dispatch
Falcon Mamba 7B リリースノートTechnology Innovation Institute (TII) は、最先端のトランスフォーマーモデルと同等の性能を持ち、アテンションベースのメモリスケーリング問題を排除した、初の大規模純粋 State Space Language Model (SSLM) である Falcon Mamba 7B をリリースしました。
- Dispatch
Bamba-9B: 推論効率の高いハイブリッド Mamba2 モデルIBM、Princeton、CMU、UIUC による、2.2T のオープンなトークンでトレーニングされたハイブリッド Mamba2 モデルである Bamba-9B は、vLLM において Llama 3.1 8B に対して 2.5 倍のスループットと 2 倍のレイテンシ向上を達成し、transformers、vLLM、TRL、llama.cpp で即座に使用可能です。
- プロジェクト
modelscope/DiffSynth-StudioDiffSynth‑Studio は、画像、動画、音声生成モデルの推論、低 VRAM 管理、量子化、LoRA スタイルのトレーニングを統合したオープンソースの拡散モデルエンジンです。多くの最先端モデルをサポートし、VRAM 節約のテクニック（ディスク/CPU オフロード、NF4/INT8/EntroPack 量子化）を提供し、付属の UI ツール（ComfyUI、WebUI）も備えています。コンシューマー GPU で大規模な拡散モデルを実行または微調整するための単一フレームワークを必要とする研究者や開発者に最適です。