Modelmap: Hugging Face モデルアーキテクチャのインタラクティブな可視化

Modelmap は、Hugging Face でホストされているあらゆるモデルのネットワークアーキテクチャを、インタラクティブでアニメーション化された可視化として提供するために設計されたツールです。Hugging Face のモデル ID を入力するだけで、実際のモデルの重みをダウンロードすることなく、モデルのネットワークの「生きたマップ」を生成できます。

アーキテクチャ・マッピングの技術的実装

Modelmap は、meta-device インスタンス化とトレースされたフェイク・フォワードパスの組み合わせを使用して、アーキテクチャ・グラフを生成します。このアプローチにより、実際の重みなしでモデルの構造的レイアウトとテンソル形状を特定できるため、可視化プロセスがほぼ瞬時に、かつ帯域幅効率的に行われます。

• Meta-device Instantiation: ツールは meta-device 上にモデル構造をインスタンス化します。これにより、実際のパラメータ用のメモリを割り当てることなく、アーキテクチャを定義できます。
• Traced Fake Forward Pass: ツールは、シミュレートされたフォワードパスのトレースを実行し、ネットワークを流れるテンソルの正確な形状を特定します。

サポートされているモデルタイプと機能

Modelmap は、古典的なリファレンス・アーキテクチャから最新の大規模言語モデル (LLMs) まで、幅広いアーキテクチャをサポートしています。また、ユーザーは同じインターフェースを使用して、2つの異なるモデルを並べて比較することもできます。

リファレンス・アーキテクチャ

Modelmap は、以下のようないくつかの基礎的なモデルの可視化に即座にアクセスできます。

• GPT-2 (124M): 古典的な decoder-only アーキテクチャ。
• BERT (base-uncased): オリジナルの双方向 encoder-only transformer。
• T5/Qwen3-8B: Grouped-Query Attention (GQA)、RMSNorm、および gated MLP レイヤーを特徴とする最新の dense LLMs。
• DeepSeek-V3.1 (671B): multi-head latent attention を備えた巨大な Mixture-of-Experts (MoE) モデル。
• Qwen3-235B-A22B: 1レイヤーあたり 128 個の experts を持つ MoE モデル。

高度なモデル・カテゴリー

このツールは、Qwen2.5-VL-3B-Instruct のように、vision tower が LLM に供給される vision-language モデルや、Qwen3.8-27B および Muse-Glimmer-30B のような様々な image-text-to-text モデルもサポートしています。

ユーザーエクスペリエンスとアクセス制御

Modelmap は、モデル構造のデバッグや理解のための合理化されたエクスペリエンスを提供します。ユーザーは、アーキテクチャに基づいてモデルのサービング・コストを推定するためにツールを使用することもできます。

• Public Repositories: すべての公開 Hugging Face リポジトリは、即座に可視化できます。
• Gated Repositories: gated モデルの場合、ユーザーは Hugging Face token を提供することで、アーキテクチャ・マップへのアクセス権を得ることができます。
• Comparison Tool: ツールには比較機能 (⌘K で起動) が含まれており、ユーザーは 2 つのモデル (例: Qwen2.5-7B vs Qwen3-8B) のアーキテクチャを可視化して、直接的な構造比較を行うことができます。

コミュニティ・フィードバック

コミュニティは、fine-tunes や LoRAs のデバッグにおけるツールの有用性に注目しています。以前、一部のユーザーはデバッグ目的で Claude のような LLM を使って「モデルアーキテクチャを歩かせる」ことに頼っていました。

"I’ve had Claude walk model architectures to debug Loras and fine tunes, but this is delightful"

他のユーザーは、hfviewer.com のような同様のツールを指摘し、デザインの美学における違いをメモしています。