rockmatrix-ai/EdgeRock

EdgeRock – 一个 4B 参数多模态模型，以恒定内存进行推理

它是什么

• EdgeRock‑4B 是一个开源语言模型（文本 + 图像），可以处理非常长的上下文，同时保持内存使用固定，无论处理了多少 token。
• 它通过结合三个想法实现这一点：
  1. 循环状态 – 一个紧凑矩阵，持续总结到目前为止看到的所有内容。
  2. 滑动窗口注意力 – 仅限于最近约 1k token 的常规注意力。
  3. Rock Memory Anchors (RMA) – 一个固定大小的库（1,024 条记录），存储来自遥远过去的选定“重要”键值对，并可在以后查询。

为什么重要

• 传统 transformer 需要随序列长度线性增长的 KV 缓存，在长上下文任务中会迅速耗尽 GPU 内存。
• EdgeRock 的 O(1) 内存占用使其即使在 256k token 输入下也能在单个 80 GB Hopper GPU 上运行，适合必须与感知或控制模块共享内存的边缘设备。

关键性能数据（来自仓库的技术报告）

指标	EdgeRock‑4B	典型全注意力基线 (Qwen3.5‑4B)
AIME 2024‑2026 平均 pass@1	82.9%	86.1%（全注意力）
29 个文本基准平均准确率	77.2%	71.4%（Qwen3.5‑4B）
平均视觉基准准确率	84.9%	89.1%
每个序列的注意力 KV 内存	72 MiB（恒定）	256k token 时为 8 GiB（随长度增长）
解码吞吐量（128k 输入 + 128k 输出，batch 1）	233.7 tokens/s	151.3 tokens/s
最佳批次输出 token 吞吐量（32k 输入 + 32k 输出）	10,669 tokens/s（batch 512）	1,889 tokens/s（batch 64）

如何尝试

# 克隆并设置虚拟环境
git clone https://github.com/rockmatrix-ai/EdgeRock.git
cd EdgeRock
python -m venv .venv && source .venv/bin/activate
python -m pip install ./wheels/transformers-5.7.0.dev0-py3-none-any.whl -e .

# 从 Hugging Face 下载 4B 检查点
hf download stonehill-tech/EdgeRock --local-dir checkpoints/EdgeRock-4B \
  --include "*.safetensors" "*.json" "*.jinja" "tokenizer*" "vocab*" "merges*" \
  --exclude "evaluation_data/*"

# 运行快速演示（仓库附带一个小型包装脚本）
python run.py demo \
  --model checkpoints/EdgeRock-4B \
  --prompt "Solve 17 × 23, explaining your reasoning." \
  --max-new-tokens 2048

• 提供的后端支持 CPU 和 CUDA。要在 Nvidia Hopper GPU 上获得最快速度，请按照 USAGE.md 中描述的额外步骤操作（CUDA‑graph + 融合 BF16 操作）。

架构概览

• 基于 Qwen3.5‑4B 主干，但将八个全注意力层替换为以下模式：

  [GDN, GDN, GDN, sliding‑window attention ∥ RMA] × 8
  

• 持久历史包括：
  • 循环矩阵（FP32）– 固定维度摘要。
  • 局部窗口 KV（每个序列 31.97 MiB）。
  • RMA 锚库（32 MiB）+ 待处理候选（8 MiB）。
• 所有组件都有硬容量，因此内存相对于 token 长度保持 O(1)。

评估亮点

• 数学推理：MATH‑500 上 97.5%，AIME 平均 pass@1 82.9%，比有界状态基线高出 >60 个百分点。
• 编码：LiveCodeBench v6 上 61.6%（仍落后于全注意力 Qwen3.5‑4B，但就其规模而言具有竞争力）。
• 视觉任务：六个基准平均准确率 84.9%，保留了主干 >95% 的性能。
• 远程记忆查询：启用 RMA 时正确率 94.1%，禁用时 0.4%，表明锚点对于回忆遥远信息至关重要。

谁可能使用 EdgeRock

• 探索长上下文推理而不受经典 transformer 内存膨胀影响的研究人员。
• 开发需要保持运行“状态”同时处理图像的设备端 AI 助手的开发者。
• 任何需要在单个 GPU 上对超长提示进行高吞吐量推理的人（例如，文档级 QA、代码库分析）。

在哪里找到更多

• 技术报告（PDF）– 深入探讨设计和实验。
• Hugging Face 上的模型权重：stonehill-tech/EdgeRock。
• 完整基准表和推理指南在仓库中（USAGE.md）。

---

所有数字均直接取自仓库的 README 和技术报告；未添加任何外部声明。