SmolVLM2: すべてのデバイスでビデオ理解を実現

Hugging Faceは、SmolVLM2という効率的なマルチモーダルモデルシリーズを導入しました。これらはローカルデバイス上でビデオと画像の理解を実現することを目的としています。2.2B、500M、256Mの3つのサイズでモデルを提供することで、スマートフォンからサーバーまでのハードウェア上で大規模な計算リソースを必要とせずに高性能な視覚解析が可能になります。

モデルバリエーションとパフォーマンス

SmolVLM2は、パフォーマンスとメモリ消費のバランスを取るために3つの異なるモデルサイズを提供します。500Mと256Mのバージョンは、これまでにリリースされた中で最も小さいビデオ言語モデルです。

SmolVLM2 2.2B

2.2Bモデルは、一般的なビジョンおよびビデオタスクの主要な選択肢として設計されています。従来のSmolVLMファミリーに比べ、以下の重要な領域で大幅な改善が見られます。

  • Mathematical Reasoning: 画像を用いた数学問題解決能力の向上。
  • OCR and Diagrams: 写真中のテキスト読み取りと複雑な図の理解が向上。
  • Scientific QA: 科学的な視覚質問に対する性能が向上。

Video-MMEベンチマークにおいて、2.2Bモデルは2Bパラメータ範囲の既存モデルすべてを上回ります。そのメモリ効率の高さにより、Google Colabの無料プランでも実行可能です。

SmolVLM2 500M と 256M

500Mモデルは、パラメータ数を4分の1以下に抑えつつ、2.2Bモデルに非常に近いビデオ理解能力を提供します。256Mモデルは実験的リリースで、ビデオ対応モデルをどれだけ小さくできるかの限界に挑戦し、専門的なファインチューニングやクリエイティブな応用の基盤となります。

実用的な応用例とデモ

SmolVLM2の有用性を示すため、Hugging Faceは以下の3つの具体的なアプリケーションを開発しました。

  • iPhone Video Understanding: 500Mモデルを使用し、クラウド接続なしでデバイス上で直接ビデオコンテンツを解析するローカルアプリケーション。
  • VLC Media Player Integration: VLCとの協業により、ビデオ内での意味的検索とナビゲーションを実現し、自然言語の記述に基づいて特定のセクションへジャンプできるようにする。
  • Video Highlight Generator: サッカーの試合など、1時間以上の長尺ビデオを処理し、最も重要なシーンを自動的に抽出できるツール。

技術的実装とデプロイ

SmolVLM2は、リリース時点からApple Silicon最適化のためにtransformersライブラリとMLXと統合されています。

Transformers 統合

推論はチャットテンプレートを用いた対話型APIで処理されます。モデルは以下をサポートします。

  • Video Inference: {"type": "video", "path": "path_to_video.mp4"} のようにパスを渡すことでビデオを処理。
  • Multi-Image Inference: URL、ファイルパス、または PIL オブジェクトで提供された複数の画像を含む会話を実行。

MLX と Apple Silicon

Apple Silicon上でのデプロイのため、SmolVLM2はPythonのmlx-vlmライブラリとmlx-swift-examplesを介したSwift言語をサポートします。システムプロンプトの使用は、ビデオ分析時の詳細度とモデルの挙動を制御する重要な要素として強調されています。

ファインチューニング

SmolVLM2はtransformersライブラリを用いてビデオ‑キャプションペアでファインチューニング可能です。500Mバリアントでは、サイズが小さいためQLoRAやLoRAよりもフルファインチューニングが推奨されます。一方、2.2BバリアントではQLoRAが依然として選択肢となります。

Sources