poloclub/transformer-explainer

Transformer Explained Visually: Learn How LLM Transformer Models Work with Interactive Visualization

What it solves

Transformer Explainer 是一个交互式可视化工具，旨在简化 GPT 等 Transformer 模型复杂的内部运作机制。它通过将数学运算和数据流可视化并使其具有交互性，消除了理解这些模型如何预测下一个 token 的障碍。

How it works

该工具直接在 Web 浏览器中运行实时 GPT-2 模型。用户可以输入自己的文本，并实时观察 Transformer 架构的内部组件和数据流如何被处理以生成预测。

Highlights

  • 自定义文本实验：用户可以提供自己的输入来查看模型的内部状态。
  • 基于浏览器：在无需外部服务器的情况下运行实时 GPT-2 模型。
  • 交互式可视化：提供 Transformer 内部运算的实时视图。