AIFrontierLab/TorchUMM
A unified multimodal model toolkit
解決する課題
TorchUMM は、マルチモーダルモデルの推論、評価、およびポストトレーニングのための統一インターフェースを提供します。画像理解（Image $\rightarrow$ Text）、画像生成（Text $\rightarrow$ Image）、および画像編集を行う異なるモデルごとに個別のコードベースを管理する必要をなくし、共有の設定駆動型フレームワークを通じてそれらを実行および比較できるようにします。
仕組み
このツールキットは、さまざまなマルチモーダルバックボーン用のアダプターを備えたプラグ可能なモデルアーキテクチャを使用しています。モデル固有の要件の複雑さを YAML 設定に抽象化し、コードを変更せずにモデルとベンチマークを切り替えられるようにします。このフレームワークは、CLI によるローカル実行、Modal によるクラウドネイティブなスケーリング、および AMD ROCm クラスター向けの専用実行をサポートしています。また、バッチ推論用の専用パイプラインと、プログラムによるアクセス用の Python API も含まれています。
対象者
異なるベンチマーク間で複数のモデルを評価したり、一貫したツールセットを使用してポストトレーニング（SFT や UniCot など）を実行したりする必要がある、マルチモーダル AI に取り組む研究者や開発者。
ハイライト
- 統一インターフェース: 幅広い統一マルチモーダルモデル（例: Bagel, Emu3.5, Janus-Pro）および単一タスクモデル（例: FLUX.2, Qwen2.5-VL）をサポート。
- 包括的な評価: 生成、理解、編集をカバーする 10 種類以上のベンチマーク（例: MME, MMBench, GenEval, WISE）の統合サポート。
- ポストトレーニングツールキット: SFT, IRG, recA, および UniCot のメソッドを含む。
- クラウドネイティブスケーリング: GPU スケーリングのための Modal とのシームレスな統合と、HuggingFace への自動出力アップロード。
- vLLM 統合: 推論速度を最適化するため、Emu3.5 などの特定モデルに対するネイティブな vLLM 統合。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト