bbycroft/llm-viz

解决的问题

它提供了一种以 3D 方式可视化 GPT 风格大语言模型 (LLM) 内部工作原理的方法，使抽象的推理过程变得更加直观易懂。

工作原理

该项目实现了一个 3D 交互式渲染器，用于显示 GPT-2 和 GPT-3 等模型中使用的网络拓扑结构。它可以可视化用于对字母进行排序的微型网络（使用 Andrej Karpathy 的 minGPT 权重），也可以可视化像 gpt2 这样的大型网络，但由于大型模型权重过大，并未预先下载。

适用对象

有兴趣通过交互式可视化来理解基于 Transformer 的 LLM 架构结构和数据流的人士。

亮点

• GPT 风格网络的 3D 交互式模型。
• 可视化 OpenAI 的 GPT-2 和 GPT-3 中使用的网络拓扑结构。
• 支持可视化任意大小的网络。
• 包含一个使用对字母进行排序的微型网络的可运行演示。