w3cj/how-llms-work

它解决了什么问题

大多数人将LLM视为黑盒。这个项目打开了这个盒子：它带你走过语言模型实际工作的每个主要阶段，从简单的模式匹配聊天机器人到从头训练的完整Transformer。你不仅阅读理论，还能获得可以在本地运行并实时观察结果的代码。

工作原理

该应用是一组交互式演示，每个演示都遵循相同的三部分架构：一个处理输入并通过SSE流式传输事件的Hono服务器路由，一个管理状态并连接到流的客户端hook，以及一个可视化正在发生事情的结果组件。五个部分分别是：

1. 一个使用if语句（ELIZA风格）的简单聊天机器人，展示流式效果并不需要智能。
2. 一个通过反向传播实时训练的XOR神经网络，证明为什么需要多层。
3. 一个从头实现的字节对编码（BPE）分词器，可以在你自己的文本上动画显示合并步骤。
4. 一个Word2Vec skip-gram嵌入训练器，学习词向量并显示词语按含义聚类。
5. 一个从头训练的仅解码器Transformer（类似GPT）——不使用任何机器学习库——具有多头因果自注意力、层归一化、前馈层、反向传播和Adam优化，并使用多线程并行。

所有内容都在浏览器中通过Vite运行，代码分为服务器路由、hooks和组件，便于检查。

适合谁

开发者、学生或任何对LLM底层工作原理好奇的人。如果你希望在不依赖高级框架的情况下看到数学和实现细节，这尤其有用。对JavaScript和神经网络概念的基本熟悉会有所帮助，但演示使这些概念具体化。

亮点

• 涵盖所有五个LLM阶段，并提供可运行的本地代码
• 完全从头构建的Transformer（不使用机器学习库）
• 实时可视化：动画BPE合并、嵌入聚类、训练损失
• 与真实ChatGPT管道相同的SSE流式架构
• 引用原始论文（ELIZA、反向传播、BPE、Word2Vec、Attention Is All You Need、GPT-1等）
• 仅需Node.js 20+和pnpm