apple-aiml-research/ml-fastvlm

This repository contains the official implementation of "FastVLM: Efficient Vision Encoding for Vision Language Models" - CVPR 2025

何を解決するか

FastVLMは、高解像度画像を処理する際のビジョン言語モデル（VLM）における高い計算コストと遅延を解決します。特に、最初のトークンまでの時間（TTFT）を短縮し、視覚エンコーダーの全体的なサイズを小さくしつつ、精度を損なわないことを目指しています。

動作方法

本プロジェクトでは、FastViTHDと呼ばれるハイブリッドビジョンエンコーダーを導入しています。このエンコーダーは、画像の処理方法を最適化し、生成されるトークン数を削減します。エンコーディング段階で生成されるトークン数を減らすことで、初期応答時間（TTFT）が大幅に短縮され、従来のビジョンエンコーダーよりもメモリ使用量が少なくなります。

対象ユーザー

マルチモーダルAIアプリケーションを開発する研究者や開発者、特にモバイルデバイス（iOS）やApple Siliconハードウェアなどリソース制約のある環境をターゲットとする方々に最適です。

主な特徴

  • 大幅な高速化: 最小のバリアントでは、LLaVA-OneVision-0.5Bと比較して85倍高速なTime-to-First-Token（TTFT）を達成しています。
  • 効率性: 同程度の規模の競合モデルと比較して、視覚エンコーダーが3.4倍小さくなっています。
  • 高いパフォーマンス: Qwen2-7Bを用いた大規模バリアントは、Cambrian-1-8Bを上回る性能を発揮しながらも、7.9倍のTTFTの高速化を維持しています。
  • モバイル対応: 実機でのリアルタイムパフォーマンスを示すデモiOSアプリを含んでいます。

関連

  • プロジェクト
    xushengfeng/eSearch

    スクリーンショット、オフラインOCR、翻訳、および画像検索を統合し、画面上の情報を抽出して活用するためのクロスプラットフォーム・スクリーン検索ツール。

  • プロジェクト
    leejet/stable-diffusion.cpp

    画像および動画拡散モデルをローカルで実行するための軽量な純粋な C/C++ 実装。幅広いハードウェアバックエンドとモデルアーキテクチャをサポートします。

  • プロジェクト
    EleutherAI/gpt-neox

    GPT‑NeoX は、マルチ GPU クラスタ上で数十億パラメータの言語モデルをトレーニングするための、Megatron ベースのオープンソースライブラリです。DeepSpeed スタイルの最適化を追加し、多くのランチャー（Slurm、MPI など）をサポートし、NVIDIA および AMD GPU で動作し、Flash Attention、Mixture‑of‑Experts、選好学習ファインチューニングなどの最新機能を備えています。大規模な計算予算を持つ研究ラボに最適です。推論専用の使用には、Hugging Face `transformers` が推奨されます。

  • プロジェクト
    flyteorg/flyte

    Flyte 2は、MLパイプラインとAIエージェントを定義、オーケストレーション、およびサービングするためのオープンソースのPythonフレームワークです。通常のPython関数をタスクとして記述し、ワークフローに構成し、ローカルまたは将来のKubernetesネイティブ・バックエンドで実行することができます。このプロジェクトには、CLI、開発者向けのTUI、およびFastAPIによるモデルサービングの第一級のサポートが含まれています。