smolmaxxing:在低资源硬件上运行大语言模型
smolmaxxing 项目证明了通过对内存、存储和计算内核进行激进的优化,老旧和低功耗硬件(如 13 年前的平板电脑和廉价电视盒子)可以有效地运行大语言模型 (LLM)。该项目将 RAM 和闪存带宽视为主要瓶颈,而非仅仅关注原始 CPU 性能,从而使参数量高达 16B 的模型能够在可用内存仅为 1 GB 的设备上运行。
核心优化策略
该项目通过针对三个关键硬件瓶颈来实现这些成果:
- 计算: 针对 ARMv8.2 架构(如 Cortex-A55)的自定义内核专注于无乘法 1-bit 操作、用于量化权重的查找表内核,以及针对 Gated-DeltaNet 等常见模型架构的融合操作。这些内核显著降低了顺序 CPU 执行的开销。
- 内存管理: 为了将模型控制在约 1 GB 的上限内,该项目采用了剪枝后的语言模型头,丢弃不常用的词汇标记以节省空间,并使用一种“无头”模式,挂起 Android 设备上的非必要后台服务,以最大化可用 RAM。
- 存储与流式传输: 对于超过物理 RAM 的模型,该项目实现了一个复杂的权重流式传输引擎。它使用
O_DIRECT进行高效的闪存读取,并利用预测性预取技术确保权重在需要前立即加载到内存中,有效地将闪存变成了 RAM 的虚拟扩展。
在老旧硬件上的性能表现
性能在两款主要测试设备上进行了测量,突显了这些技术的有效性:
- 小米盒子 S (第 3 代): 在搭载 Amlogic S7D 处理器且仅有 1 GB 可用 RAM 的系统上,运行 Qwen3.5-2B 模型可达到 7.7 tokens/s,运行 16B 混合专家模型 (Ling-mini-2.0) 可达到 5.1 tokens/s。这些结果表明,即使在现代廉价硬件上,智能内存分页也允许执行远超设备物理 RAM 大小的模型。
- iPad Air (2013): 利用 Apple A7 芯片,该项目在 1.7B 参数模型上达到了 23-25 tokens/s。通过实现专家分页系统,该设备甚至能以 2.6–4.5 tokens/s 的速度运行 16B 模型,证明了当软件经过充分优化时,老旧的移动硬件依然具备 AI 推理能力。
社区见解与实用性
围绕该项目的讨论既突显了技术成就,也引发了关于“微型”模型实用性的持续争论。虽然一些用户质疑在过时硬件上运行 LLM 的实际应用价值,但另一些人将其视为实现 AI 访问民主化的关键一步。
“处于微小与实用交汇点的模型,将成为下一代贫困儿童构建更平等世界所使用的工具集的一部分。” — Hacker News 用户 nullstyle
批评者指出,原始速度并不是衡量成功的唯一指标。正如一位用户所言:“如果模型陷入死循环、无法进行工具调用,或者没有针对嵌入式功能进行训练,那么速度毫无意义。”该项目通过强调对专门针对小规模效率进行训练的模型(例如专为工具调用或推理而设计的模型)的需求来解决这一问题,而不是简单地缩小大型模型,因为大型模型在低位宽下可能会出现性能下降。
未来方向
该项目为“复活”过时技术提供了一个实用的蓝图。通过专注于高效内核和内存映射权重流式传输,开发者可以将瘦客户端、路由器和旧移动设备重新用于边缘 AI 任务。该项目的文档(包括详细的 EXPERIMENT.md 文件)为其他人提供了在不同 ARM 设备上复制这些优化的路线图。
Sources
相关
- 项目
- Dispatch
- Dispatch
- Dispatch
- 项目