hyperionaidev/smolmaxxing

maxxing the ability to run different LLMs on the smallest devices possible

smolmaxxing — 在微型硬件上运行大型 AI 模型

它是做什么的

smolmaxxing 是一个让大型语言模型 (LLMs) 在极弱设备(如电视盒子、旧平板电脑、单板计算机和路由器)上运行的项目。目标是:“在你拥有的最小硬件上运行你能运行的最大语言模型。” 它涵盖了从 260K 到 16B 参数的模型。

它解决了什么问题

大多数小型设备(电视盒子、旧平板电脑、路由器)都有 CPU、一些内存和闪存,但大部分时间处于闲置状态。通常,运行现代 AI 模型需要一台内存充足的强大计算机。smolmaxxing 计算出每个弱设备实际能运行的最大模型,然后通过自定义代码、精细的内存使用和从闪存流式传输权重来进一步突破限制。仓库中的每一个性能数据都是在实际设备上测量的。

目前已测试的设备

小米电视盒子 S (第三代) iPad Air (2013)
芯片 Amlogic S7D, 4× Cortex-A55 Apple A7, 2 核心
内存 1.9 GB (约 1 GB 可用) 1 GB (约 700 MB 可用)
系统 Android 14, 无 root iOS 12.5.7, 已越狱
日常模型 Qwen3.5-2B, 7.7 tokens/秒 Bonsai-1.7B (1-bit), 24–26 tokens/秒
最大模型 Ling-mini-2.0, 16B, 5.1 tokens/秒 Ling-mini-2.0, 16B, 2.6–4.5 tokens/秒

这两款设备通过仅将模型的一部分保留在内存中,并根据需要从闪存读取其余部分,在约 1 GB 的内存上运行 8B 和 16B 的混合专家 (MoE) 模型。

工作原理

所有内容都是对 llama.cpp(一个流行的开源 AI 推理引擎)的 补丁。主要有四种技术:

  1. 为芯片构建的内核 — 针对每个处理器优化的自定义底层代码。包括 1-bit 查找表内核、针对 Cortex-A55 重新打包的 2-bit 和三元格式,以及针对 Apple A7(缺乏点积指令)的版本。

  2. 每个模型占用更少的内存 — 小型模型的词汇表大部分很少使用,因此这些输出行被剔除。在电视盒子上,“无头”模式还会在模型运行时停止启动器和 Google 服务。

  3. 从闪存分页加载专家模型 — MoE 模型每个 token 仅使用少数“专家”。该项目将热门专家保留在内存中,按需从闪存读取其他专家,并预取下一层的专家。这就是 8B 和 16B 模型如何在 1 GB 内存上运行的原因。

  4. 密集模型的流式传输 — 对于大于内存的模型,权重以闪存的全速从闪存流式传输。

如何尝试

最快的开始方式是使用 Hugging Face 上现成的模型文件。重要提示: 这些文件需要打过补丁的 llama.cpp — 原版 llama.cpp 无法加载它们。

  • 电视盒子或其他 ARMv8.2 Android 设备: 参见 docs/tv-box-setup.md
  • 已越狱的 iOS 12 iPad: 参见 ipad-air/README.md
  • 所有模型文件及如何重建它们: 参见 docs/models.md

仓库内容

路径 内容
patches/ 对电视盒子的所有 llama.cpp 修改(iPad 的补丁在 ipad-air/patches/ 中)
tools/ 模型重建、GGUF 重写、基准测试、内核检查
tv-llm-ui/ 实时 token 流聊天页面及其启动器
ipad-air/ iOS 12 构建、smolchat、部署和基准测试脚本
bench/ 所有聊天基准测试 (results.jsonl) 和原始日志
data/ 词汇表列表和评估文本
tiny-llm-web/ 首次实验:一个 260K 参数的故事模型
zigcc/ 用于交叉编译静态 aarch64 二进制文件的 Zig 包装器

文档

  • docs/tv-box.md — 电视盒子上运行的每个模型、速度和质量
  • ipad-air/README.md — iPad Air 结果、设置、脚本
  • docs/how-it-works.md — 内核、内存技巧、专家分页器、流式引擎
  • docs/models.md — 下载、重建目标、校验和
  • docs/lessons.md — 哪些有效,哪些无效
  • EXPERIMENT.md — 完整的实验室笔记本:160 次实验,包括失败案例

许可和致谢

  • 许可: MIT。llama.cpp 补丁是 llama.cpp (MIT) 的衍生品。模型权重保留其各自的许可;评估文本是维基百科摘录 (CC BY-SA 4.0)。
  • 构建于: llama.cpp 和 llama2.c。
  • 模型来源: Qwen, unsloth, PrismML (Bonsai), inclusionAI (Ling-mini-2.0), tablinum (Moon-Beam), bartowski, mradermacher, Google (Gemma), 以及 karpathy 的 stories260K。
  • 其他: iPad 使用 Amethyst 越狱;横幅使用 Archivo 字体 (SIL OFL);🤏 logo 来自 Google 的 Noto Emoji (Apache 2.0)。

关键结论

smolmaxxing 证明了通过巧妙的工程设计——自定义内核、激进的内存修剪和从闪存流式传输模型权重——你可以在仅有约 1 GB 可用内存的设备上运行令人惊讶的大型 AI 模型(甚至是 16B 参数的模型)。这些技术是可移植的:1-bit 内核仅需要基本的 NEON 指令,而闪存流式传输适用于任何模型大于内存的 Linux 或 Android 设备。

相关

  • 项目
  • 项目
  • 项目
  • 项目