kyegomez/VisionMamba
Implementation of Vision Mamba from the paper: "Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model" It's 2.8x faster than DeiT and saves 86.8% GPU memory when performing batch inference to extract features on high-res images
해결하는 문제
전통적인 Vision Transformer(ViT)에 대한 효율적인 대안을 제공합니다. 고해상도 이미지를 처리할 때 표준 어텐션 메커니즘으로 인한 높은 계산 비용과 메모리 사용량 문제를 해결합니다.
작동 방식
이 프로젝트는 시각 데이터를 처리하기 위해 양방향 상태 공간 모델(SSM)을 구현합니다. 표준 트랜스포머와 달리, 이 아키텍처는 더 효율적인 특징 추출을 가능하게 하여 GPU 메모리 사용량을 크게 줄이고 추론 속도를 높입니다.
대상 사용자
제한된 GPU 메모리 또는 더 높은 추론 속도가 필요한 고해상도 이미지 처리가 필요한 컴퓨터 비전 작업을 수행하는 연구자 및 개발자입니다.
주요 특징
- 배치 추론 시 DeiT보다 2.8배 빠릅니다.
- 고해상도 이미지에서 특징을 추출할 때 GPU 메모리 사용량을 86.8% 감소시킵니다.
- pip를 통해 간편하게 설치할 수 있습니다.
관련
- 프로젝트
kyegomez/MultiModalMambaVision Transformer (ViT)와 Mamba를 통합하여 텍스트, 이미지, 오디오, 비디오 데이터를 동시에 효율적으로 처리하고 해석하는 다중 모달 AI 모델입니다.
- 프로젝트
state-spaces/mambaMamba는 선택적 상태 공간 모델(SSM) 기반의 선형 시간 시퀀스 모델링 아키텍처로, Transformer의 대안으로서 높은 성능과 2차 미만의 복잡도를 제공합니다.
- Dispatch
Falcon Mamba 7B 릴리스 노트Technology Innovation Institute (TII)는 Falcon Mamba 7B를 출시했습니다. 이는 대규모 순수 상태 공간 언어 모델(SSLM) 최초로, 최첨단 트랜스포머 모델의 성능에 필적하면서 어텐션 기반 메모리 스케일링 문제를 제거합니다.
- Dispatch
Bamba-9B: 추론 효율적인 하이브리드 Mamba2 모델Bamba-9B는 IBM, Princeton, CMU, UIUC가 2.2조 개의 공개 토큰으로 학습한 하이브리드 Mamba2 모델로, vLLM에서 Llama 3.1 8B 대비 2.5배 높은 처리량과 2배 낮은 지연 시간을 달성하고, transformers, vLLM, TRL, llama.cpp에서 즉시 사용할 수 있습니다.
- 프로젝트
modelscope/DiffSynth-StudioDiffSynth‑Studio는 이미지, 비디오, 오디오 생성 모델을 위한 추론, 낮은 VRAM 관리, 양자화, LoRA 스타일 훈련을 통합한 오픈소스 확산 모델 엔진입니다. 많은 최첨단 모델을 지원하며, VRAM 절약 기술(디스크/CPU 오프로드, NF4/INT8/EntroPack 양자화)을 제공하고, 동반 UI 도구(ComfyUI, WebUI)를 포함합니다. 소비자용 GPU에서 대규모 확산 모델을 실행하거나 미세 조정하기 위한 단일 프레임워크가 필요한 연구자와 개발자에게 이상적입니다.