hardrave/NIGHTRUN

解决的问题

NightRun 是一个本地 LLM 运行环境，允许计算机直接启动进入聊天界面，而无需传统操作系统（如 Linux 或 Windows）。它消除了内核、浏览器或网络堆栈的开销，将机器转变为专属的离线 AI 设备。

运作原理

NightRun 以 Rust 编写，作为 UEFI 应用程序运行。它利用机器的固件来处理基本的硬件交互（如显示器和键盘），并将量化模型从 USB 闪存盘或 SD 卡加载到 RAM 中。

关键技术细节包括：

• 模型生命周期：它使用自定义的 .nrm 容器格式，在流式传输过程中通过 CRC-32 校验和验证模型数据。一旦加载，存储空间即被“密封”，这意味着系统会阻止进一步的磁盘读取，以确保可预测的性能与安全性。
• 推理引擎：它具有手写的量化内核（x86_64 使用 AVX2，Raspberry Pi 5 使用 NEON），无需反量化副本即可运行 Llama 3.2、Qwen3 和 Granite 4.1 等模型。
• 验证：该项目保持与 llama.cpp 严格的 token 对 token 一致性，以确保正确性。

目标用户

它专为希望在 x86_64 PC 或 Raspberry Pi 5 硬件上获得完全隔离、离线 LLM 体验的用户，以及对裸机风格 AI 推理感兴趣的系统程序员而设计。

特色亮点

• 无操作系统启动：使用 UEFI Boot Services 直接从 USB/SD 卡启动进入 LLM 提示界面。
• 硬件支持：兼容于 64 位 UEFI 机器和 Raspberry Pi 5。
• 高性能：内存带宽限制的解码速度可与 llama.cpp 媲美。
• 精确安装程序：一个严谨的安装程序，通过严格的设备指纹识别和手动确认，防止意外刷写系统磁盘。
• 自定义模型格式：.nrm 格式允许张量的零拷贝视图和嵌入式分词器。