TinyLLaVA/TinyLLaVA_Factory

何を解決するか

TinyLLaVA Factory は、小規模な大規模マルチモーダルモデル（LMM）を構築・訓練するためのモジュール化されたコードベースを提供します。カスタマイズのためのコーディング作業とエラーを削減し、トレーニング結果の再現性を保証することで、マルチモーダルモデルのカスタマイズを簡素化します。

仕組み

このフレームワークでは、異なるコンポーネントを組み合わせてマルチモーダルモデルを構築できます。いくつかの主要な構成要素を統合しています：

• LLMs: OpenELM、TinyLlama、StableLM、Qwen、Gemma、Phi などのモデルをサポート。
• ビジョンタワー: CLIP、SigLIP、Dino、および CLIP と Dino の組み合わせをサポート。
• ビジョン・ランゲージコネクタ: MLP、Qformer、Resampler をサポート。
• トレーニングレシピ: Frozen、Fully、Partially チューニングのオプションに加え、LoRA と QLoRA もサポート。

対象ユーザー

ゼロから始める必要なく、小規模なマルチモーダルモデルの構築、ファインチューニング、評価をしたい研究者や開発者向けに設計されています。

特徴

• モジュールアーキテクチャ: LLM、ビジョンタワー、コネクタを簡単に交換可能。
• 高いパフォーマンス: TinyLLaVA-Phi-2-SigLIP-3.1B モデルは、LLaVA-1.5 などの既存の 7B モデルを上回る性能を発揮。
• 拡張性: 新しい LLM、ビジョンタワー、コネクタを追加するための明確なガイドと登録パターンを提供。
• 包括的なツールキット: プレトレーニング、ファインチューニング、評価用スクリプト、Gradio Web デモ、CLI 推論ツールを含む。