bbycroft/llm-viz

解決的問題

它提供了一種以 3D 方式視覺化 GPT 風格大語言模型 (LLM) 內部工作原理的方法，使抽象的推理過程變得更加直觀易懂。

工作原理

該專案實現了一個 3D 互動式渲染器，用於顯示 GPT-2 和 GPT-3 等模型中使用的網路拓撲結構。它可以視覺化用於對字母進行排序的微型網路（使用 Andrej Karpathy 的 minGPT 權重），也可以視覺化像 gpt2 這樣的大型網路，但由於大型模型的權重過大，並未預先下載。

適用對象

有興趣透過互動式視覺化來理解基於 Transformer 的 LLM 架構結構和數據流的人士。

亮點

• GPT 風格網路的 3D 互動式模型。
• 視覺化 OpenAI 的 GPT-2 和 GPT-3 中使用的網路拓撲結構。
• 支援視覺化任意大小的網路。
• 包含一個使用對字母進行排序的微型網路的可運行演示。