OpenEnvision/Awesome-Multimodal-Modeling

📚 Awesome‑Multimodal‑Modeling とは何ですか？

Awesome‑Multimodal‑Modeling は、キュレートされた、コミュニティが維持するリストであり、マルチモーダル機械学習モデルの全体像を調査しています — 画像＋テキストなど、複数のデータタイプを処理するシステムです。このリポジトリには単一のモデルのコードは含まれていません。代わりに、現代の研究がマルチモーダルアーキテクチャについてどのように考えているかを反映した、明確な分類に論文、モデルコレクション、リソースを整理しています。

🎯 目的と対象読者

目的: 研究者、学生、エンジニアが、どのモデルが存在するか、アーキテクチャ上の違いは何か、そして実装はどこに見つかるか（多くの場合、Hugging Face 上）を一か所で把握できるようにすること。また、後日公開予定の短期的な「サーベイペーパー」の進捗も追跡しています。
対象読者: 早期融合モデル（例: CLIP）から、最新のネイティブマルチモーダルモデル（スクラッチから訓練されたもの）への進化を理解したい人、および即時利用可能なモデルコレクションを探している開発者。

🗂️ リストの構造

セクション	内容
1️⃣ イントロダクションと定義	四つのモデルファミリーの明確な、アーキテクチャ中心の定義： • Traditional（2023年以前の融合中心） • Multimodal Large Language Models (MLLMs) – 事前学習済みのビジョンエンコーダー + 事前学習済みLLMを連結 • Unified Multimodal Models (UMMs) – 一つのフレームワークで複数モダリティの理解と生成が可能 • Native Multimodal Models (NMMs) – すべてのモダリティに対してスクラッチから訓練（早期融合または後期融合）
2️⃣ Traditional Multimodal Models	マルチモーダル表現、アライメント、事前学習に関する論文（例: CLIP, ALIGN, ViLBERT, BLIP）
3️⃣ MLLMs	視覚アダプターの種類に基づく分類（MLPプロジェクター、Q‑Former、クロスアテンション、ハイブリッド）。LLaVA、Qwen‑VL、InternVL、MiniCPM‑V、CogVLM などの注目モデルをリストアップ
4️⃣ Unified Multimodal Models (UMMs)	生成パラダイム（ディフュージョンベース、自己回帰、ハイブリッド）と「任意のモダリティから任意のモダリティへの変換」能力に基づく分類
5️⃣ Native Multimodal Models (NMMs)	デザイン分析、スケーリング法則の議論、具体的な早期融合（例: Emu3）および後期融合の例
6️⃣ クローズドソースモデル	2023–2026年のプロプライエタリマルチモーダルシステムの時系列リスト
7️⃣ リソース	関連するawesomeリスト、サーベイスライド、コードリポジトリ、ツールへのリンク

🔧 コントリビュートの方法

PRを歓迎 – リポジトリはシンプルな検証ルールセットを使用しています（エントリには信頼できる出典が必要、分類に合致し、一貫したフォーマットで記載）。エントリテンプレートについては How to Contribute セクションを参照してください。
モデルズー – メンテナントは Hugging Face 上に二つのコレクション（UMM Zoo と NMM Zoo）をホストしており、オープンソース実装に直接リンクしています。

📢 最近のニュース（2026年Q3時点）

Hugging Face 上に2つの新しいモデルコレクションが公開：Unified Multimodal Model Zoo と Native Multimodal Model Zoo。
2026年4月のリリース後、1日で100⭐を達成。
本リストで定義された分類に基づいた包括的なサーベイペーパーが近日中に公開予定。

📚 なぜ重要なのか

マルチモーダルAIは急速に進化しており、論文ではしばしば重複する用語が使われます（例: 「マルチモーダルLLM」、「統一モデル」）。このリストは用語の標準化と研究・製品開発に重要となるアーキテクチャの違いの強調を実現します：

理解 vs. 生成の能力
モデルが事前学習済みバックボーンを再利用するか、それともスクラッチから訓練されるか
融合戦略（早期 vs. 後期）とそのスケーラビリティへの影響

単一で整理された信頼できるリファレンスを持つことで、時間の節約、混乱の軽減、新規参入者が自らのユースケースに適したモデルファミリーを選択しやすくなります。

📄 ライセンス

このリストは CC0 1.0（パブリックドメイン）ライセンスでリリースされています。誰でも自由にコピー、リミックス、再配布できます。