apple-aiml-research/ml-fastvlm

This repository contains the official implementation of "FastVLM: Efficient Vision Encoding for Vision Language Models" - CVPR 2025

解決的問題

FastVLM 解決了視覺語言模型（VLM）在處理高解析度影像時所面臨的高計算成本與延遲問題。其目標是減少首個 token 生成時間（TTFT），同時在不犧牲準確性的前提下縮小視覺編碼器的整體規模。

工作原理

本專案引入 FastViTHD，一種混合式視覺編碼器，透過優化影像處理方式來減少輸出的 token 數量。透過在編碼階段減少生成的 token 數量，模型顯著加快了初始回應時間（TTFT），且比傳統視覺編碼器需要更少的記憶體。

適用對象

專為開發多模態 AI 應用的研究人員與開發者設計，特別適用於資源受限的環境，如行動裝置（iOS）或 Apple Silicon 硬體。

主要亮點

  • 顯著提速：最小版本相比 LLaVA-OneVision-0.5B 實現 85 倍的 Time-to-First-Token（TTFT）加速。
  • 高效性：視覺編碼器體積比同規模的競爭模型小 3.4 倍。
  • 高性能量：使用 Qwen2-7B 的大版本在性能上超越 Cambrian-1-8B，同時保持 7.9 倍的 TTFT 加速。
  • 行動端就緒：包含一個示範 iOS 應用，展示在行動硬體上的即時性能。

相關

  • 專案
    xushengfeng/eSearch

    一款集截圖、離線 OCR、翻譯和反向圖像搜尋於一體的跨平台螢幕搜尋工具，用於提取並處理螢幕資訊。

  • 專案
    leejet/stable-diffusion.cpp

    一個輕量級的純 C/C++ 實作，用於在本機執行影像和影片擴散模型，支援多種硬體後端和模型架構。

  • 專案
    EleutherAI/gpt-neox

    GPT‑NeoX 是一個開源、基於 Megatron 的函式庫，用於在多 GPU 叢集上訓練數十億參數的語言模型。它加入了 DeepSpeed 風格的最佳化，支援多種啟動器（Slurm、MPI 等），可在 NVIDIA 和 AMD GPU 上運行，並包含 Flash Attention、Mixture‑of‑Experts 和偏好學習微調等現代功能。非常適合擁有龐大運算預算的研究實驗室；若僅用於推論，建議使用 Hugging Face `transformers`。

  • 專案
    flyteorg/flyte

    Flyte 2 是一個用於定義、編排和提供 ML 流水線與 AI agent 服務的開源 Python 框架。它讓您能夠將普通的 Python 函數作為任務，將其組合成工作流，並在本地或未來的 Kubernetes-native 後端上執行。該專案包含 CLI、以開發者為中心的 TUI，以及對 FastAPI 模型服務化的原生支持。