rockmatrix-ai/EdgeRock

EdgeRock – 4B パラメータの多モーダルモデルで、一定メモリで推論

概要

• EdgeRock‑4B はオープンソースの言語モデル（テキスト + 画像）で、処理されたトークン数に関係なくメモリ使用量を固定に保ちながら、非常に長いコンテキストを処理できます。
• これは 3 つのアイデアを組み合わせることで実現されます。
  1. リカレント状態 – これまでに見たすべてを継続的に要約するコンパクトな行列。
  2. スライディングウィンドウアテンション – 最新の約 1k トークンに限定された通常のアテンション。
  3. Rock Memory Anchors (RMA) – 遠い過去からの選択された「重要な」キーと値のペアを保存し、後でクエリできる固定サイズのバンク（1,024 レコード）。

重要性

• 従来のトランスフォーマーは、シーケンス長に応じて線形に増加する KV キャッシュが必要であり、長いコンテキストタスクで GPU メモリをすぐに使い果たします。
• EdgeRock の O(1) メモリフットプリントにより、256k トークン入力でも単一の 80 GB Hopper GPU で実行でき、知覚や制御モジュールとメモリを共有する必要があるエッジデバイスに適しています。

主要なパフォーマンス数値（リポジトリの技術レポートから）

指標	EdgeRock‑4B	典型的なフルアテンションベースライン (Qwen3.5‑4B)
AIME 2024‑2026 の平均 pass@1	82.9%	86.1%（フルアテンション）
29 のテキストベンチマークの平均精度	77.2%	71.4%（Qwen3.5‑4B）
平均視覚ベンチマーク精度	84.9%	89.1%
シーケンスあたりのアテンション KV メモリ	72 MiB（一定）	256k トークンで 8 GiB（長さに応じて増加）
デコードスループット（128k 入力 + 128k 出力、バッチ 1）	233.7 トークン/秒	151.3 トークン/秒
最適バッチ出力トークンスループット（32k 入力 + 32k 出力）	10,669 トークン/秒（バッチ 512）	1,889 トークン/秒（バッチ 64）

試し方

# クローンして仮想環境をセットアップ
git clone https://github.com/rockmatrix-ai/EdgeRock.git
cd EdgeRock
python -m venv .venv && source .venv/bin/activate
python -m pip install ./wheels/transformers-5.7.0.dev0-py3-none-any.whl -e .

# Hugging Face から 4B チェックポイントをダウンロード
hf download stonehill-tech/EdgeRock --local-dir checkpoints/EdgeRock-4B \
  --include "*.safetensors" "*.json" "*.jinja" "tokenizer*" "vocab*" "merges*" \
  --exclude "evaluation_data/*"

# クイックデモを実行（リポジトリには小さなラッパースクリプトが付属）
python run.py demo \
  --model checkpoints/EdgeRock-4B \
  --prompt "Solve 17 × 23, explaining your reasoning." \
  --max-new-tokens 2048

• 提供されているバックエンドは CPU と CUDA で動作します。Nvidia Hopper GPU で最速の速度を得るには、USAGE.md に記載されている追加手順（CUDA‑graph + 融合 BF16 演算）に従ってください。

アーキテクチャの概要

• Qwen3.5‑4B バックボーンに基づいていますが、8 つのフルアテンション層を次のパターンに置き換えています。

  [GDN, GDN, GDN, sliding‑window attention ∥ RMA] × 8
  

• 永続履歴は以下で構成されます。
  • リカレント行列（FP32）– 固定次元の要約。
  • ローカルウィンドウ KV（シーケンスあたり 31.97 MiB）。
  • RMA アンカーバンク（32 MiB）+ 保留中の候補（8 MiB）。
• すべてのコンポーネントにハードキャパシティがあるため、メモリはトークン長に対して O(1) のままです。

評価ハイライト

• 数学的推論：MATH‑500 で 97.5%、AIME で平均 pass@1 82.9%、有界状態ベースラインを >60 ポイント上回る。
• コーディング：LiveCodeBench v6 で 61.6%（フルアテンションの Qwen3.5‑4B にはまだ及ばないが、そのサイズでは競争力がある）。
• 視覚タスク：6 つのベンチマークで平均精度 84.9%、バックボーンのパフォーマンスの >95% を維持。
• 遠隔メモリクエリ：RMA 有効時は 94.1% 正解、無効時は 0.4%。アンカーが遠い情報の想起に不可欠であることを示しています。

EdgeRock を誰が使うか

• 従来のトランスフォーマーのメモリ爆発なしに長いコンテキスト推論を探求する研究者。
• 画像を処理しながら実行中の「状態」を維持する必要があるオンデバイス AI アシスタントを開発する開発者。
• 単一 GPU で非常に長いプロンプト（例：ドキュメントレベルの QA、コードベース分析）に対して高スループット推論を必要とする人。

詳細情報

• 技術レポート（PDF）– 設計と実験の詳細。
• Hugging Face のモデルウェイト：stonehill-tech/EdgeRock。
• 完全なベンチマークテーブルと推論ガイドはリポジトリ（USAGE.md）にあります。

---

すべての数値はリポジトリの README と技術レポートから直接取得しています。外部の主張は追加されていません。