hyperionaidev/smolmaxxing
maxxing the ability to run different LLMs on the smallest devices possible
smolmaxxing — 在微型硬件上运行大型 AI 模型
它是做什么的
smolmaxxing 是一个让大型语言模型 (LLMs) 在极弱设备(如电视盒子、旧平板电脑、单板计算机和路由器)上运行的项目。目标是:“在你拥有的最小硬件上运行你能运行的最大语言模型。” 它涵盖了从 260K 到 16B 参数的模型。
它解决了什么问题
大多数小型设备(电视盒子、旧平板电脑、路由器)都有 CPU、一些内存和闪存,但大部分时间处于闲置状态。通常,运行现代 AI 模型需要一台内存充足的强大计算机。smolmaxxing 计算出每个弱设备实际能运行的最大模型,然后通过自定义代码、精细的内存使用和从闪存流式传输权重来进一步突破限制。仓库中的每一个性能数据都是在实际设备上测量的。
目前已测试的设备
| 小米电视盒子 S (第三代) | iPad Air (2013) | |
|---|---|---|
| 芯片 | Amlogic S7D, 4× Cortex-A55 | Apple A7, 2 核心 |
| 内存 | 1.9 GB (约 1 GB 可用) | 1 GB (约 700 MB 可用) |
| 系统 | Android 14, 无 root | iOS 12.5.7, 已越狱 |
| 日常模型 | Qwen3.5-2B, 7.7 tokens/秒 | Bonsai-1.7B (1-bit), 24–26 tokens/秒 |
| 最大模型 | Ling-mini-2.0, 16B, 5.1 tokens/秒 | Ling-mini-2.0, 16B, 2.6–4.5 tokens/秒 |
这两款设备通过仅将模型的一部分保留在内存中,并根据需要从闪存读取其余部分,在约 1 GB 的内存上运行 8B 和 16B 的混合专家 (MoE) 模型。
工作原理
所有内容都是对 llama.cpp(一个流行的开源 AI 推理引擎)的 补丁。主要有四种技术:
为芯片构建的内核 — 针对每个处理器优化的自定义底层代码。包括 1-bit 查找表内核、针对 Cortex-A55 重新打包的 2-bit 和三元格式,以及针对 Apple A7(缺乏点积指令)的版本。
每个模型占用更少的内存 — 小型模型的词汇表大部分很少使用,因此这些输出行被剔除。在电视盒子上,“无头”模式还会在模型运行时停止启动器和 Google 服务。
从闪存分页加载专家模型 — MoE 模型每个 token 仅使用少数“专家”。该项目将热门专家保留在内存中,按需从闪存读取其他专家,并预取下一层的专家。这就是 8B 和 16B 模型如何在 1 GB 内存上运行的原因。
密集模型的流式传输 — 对于大于内存的模型,权重以闪存的全速从闪存流式传输。
如何尝试
最快的开始方式是使用 Hugging Face 上现成的模型文件。重要提示: 这些文件需要打过补丁的 llama.cpp — 原版 llama.cpp 无法加载它们。
- 电视盒子或其他 ARMv8.2 Android 设备: 参见
docs/tv-box-setup.md - 已越狱的 iOS 12 iPad: 参见
ipad-air/README.md - 所有模型文件及如何重建它们: 参见
docs/models.md
仓库内容
| 路径 | 内容 |
|---|---|
patches/ |
对电视盒子的所有 llama.cpp 修改(iPad 的补丁在 ipad-air/patches/ 中) |
tools/ |
模型重建、GGUF 重写、基准测试、内核检查 |
tv-llm-ui/ |
实时 token 流聊天页面及其启动器 |
ipad-air/ |
iOS 12 构建、smolchat、部署和基准测试脚本 |
bench/ |
所有聊天基准测试 (results.jsonl) 和原始日志 |
data/ |
词汇表列表和评估文本 |
tiny-llm-web/ |
首次实验:一个 260K 参数的故事模型 |
zigcc/ |
用于交叉编译静态 aarch64 二进制文件的 Zig 包装器 |
文档
docs/tv-box.md— 电视盒子上运行的每个模型、速度和质量ipad-air/README.md— iPad Air 结果、设置、脚本docs/how-it-works.md— 内核、内存技巧、专家分页器、流式引擎docs/models.md— 下载、重建目标、校验和docs/lessons.md— 哪些有效,哪些无效EXPERIMENT.md— 完整的实验室笔记本:160 次实验,包括失败案例
许可和致谢
- 许可: MIT。llama.cpp 补丁是 llama.cpp (MIT) 的衍生品。模型权重保留其各自的许可;评估文本是维基百科摘录 (CC BY-SA 4.0)。
- 构建于: llama.cpp 和 llama2.c。
- 模型来源: Qwen, unsloth, PrismML (Bonsai), inclusionAI (Ling-mini-2.0), tablinum (Moon-Beam), bartowski, mradermacher, Google (Gemma), 以及 karpathy 的 stories260K。
- 其他: iPad 使用 Amethyst 越狱;横幅使用 Archivo 字体 (SIL OFL);🤏 logo 来自 Google 的 Noto Emoji (Apache 2.0)。
关键结论
smolmaxxing 证明了通过巧妙的工程设计——自定义内核、激进的内存修剪和从闪存流式传输模型权重——你可以在仅有约 1 GB 可用内存的设备上运行令人惊讶的大型 AI 模型(甚至是 16B 参数的模型)。这些技术是可移植的:1-bit 内核仅需要基本的 NEON 指令,而闪存流式传输适用于任何模型大于内存的 Linux 或 Android 设备。
相关
- 项目
- 项目
- 项目
- 项目