bbycroft/llm-viz

解決する課題

GPTスタイルの大規模言語モデル（LLM）の内部動作を3Dで可視化する方法を提供し、抽象的な推論プロセスをより具体的で理解しやすいものにします。

仕組み

このプロジェクトは、GPT-2やGPT-3などのモデルで使用されているネットワークトポロジーを表示する3Dインタラクティブレンダラーを実装しています。文字をソートする小さなネットワーク（Andrej KarpathyのminGPTの重みを使用）から、より大規模なネットワーク（gpt2など）まで可視化できます。ただし、大規模なモデルの重みはサイズが大きいため、事前にはダウンロードされていません。

対象者

インタラクティブな可視化を通じて、TransformerベースのLLMのアーキテクチャ構造とデータフローの理解に興味がある方。

ハイライト

• GPTスタイルのネットワークの3Dインタラクティブモデル
• OpenAIのGPT-2およびGPT-3で使用されているネットワークトポロジーを可視化
• 任意のサイズのネットワークの可視化をサポート
• 文字をソートする小さなネットワークを使用した動作デモを含む