rockmatrix-ai/EdgeRock

EdgeRock – 일정한 메모리로 추론하는 4B 파라미터 멀티모달 모델

개요

• EdgeRock‑4B는 처리된 토큰 수와 관계없이 메모리 사용량을 고정으로 유지하면서 매우 긴 컨텍스트를 처리할 수 있는 오픈소스 언어 모델(텍스트 + 이미지)입니다.
• 이는 세 가지 아이디어를 결합하여 달성됩니다.
  1. 반복 상태 – 지금까지 본 모든 것을 지속적으로 요약하는 컴팩트한 행렬.
  2. 슬라이딩 윈도우 주의 – 최근 약 1k 토큰으로 제한된 일반 주의.
  3. Rock Memory Anchors (RMA) – 먼 과거에서 선택된 "중요한" 키-값 쌍을 저장하고 나중에 쿼리할 수 있는 고정 크기 뱅크(1,024개 레코드).

중요성

• 기존 트랜스포머는 시퀀스 길이에 따라 선형적으로 증가하는 KV 캐시가 필요하며, 긴 컨텍스트 작업에서 GPU 메모리를 빠르게 소진합니다.
• EdgeRock의 O(1) 메모리 사용량은 256k 토큰 입력에서도 단일 80 GB Hopper GPU에서 실행할 수 있게 하여, 인식 또는 제어 모듈과 메모리를 공유해야 하는 엣지 디바이스에 적합합니다.

주요 성능 수치(리포지토리의 기술 보고서에서)

지표	EdgeRock‑4B	일반적인 전체 주의 기준 (Qwen3.5‑4B)
AIME 2024‑2026 평균 pass@1	82.9%	86.1%(전체 주의)
29개 텍스트 벤치마크 평균 정확도	77.2%	71.4%(Qwen3.5‑4B)
평균 시각 벤치마크 정확도	84.9%	89.1%
시퀀스당 주의 KV 메모리	72 MiB(일정)	256k 토큰에서 8 GiB(길이에 따라 증가)
디코딩 처리량(128k 입력 + 128k 출력, 배치 1)	233.7 토큰/초	151.3 토큰/초
최적 배치 출력 토큰 처리량(32k 입력 + 32k 출력)	10,669 토큰/초(배치 512)	1,889 토큰/초(배치 64)

사용 방법

# 클론 및 가상 환경 설정
git clone https://github.com/rockmatrix-ai/EdgeRock.git
cd EdgeRock
python -m venv .venv && source .venv/bin/activate
python -m pip install ./wheels/transformers-5.7.0.dev0-py3-none-any.whl -e .

# Hugging Face에서 4B 체크포인트 다운로드
hf download stonehill-tech/EdgeRock --local-dir checkpoints/EdgeRock-4B \
  --include "*.safetensors" "*.json" "*.jinja" "tokenizer*" "vocab*" "merges*" \
  --exclude "evaluation_data/*"

# 빠른 데모 실행(리포지토리에 작은 래퍼 스크립트 포함)
python run.py demo \
  --model checkpoints/EdgeRock-4B \
  --prompt "Solve 17 × 23, explaining your reasoning." \
  --max-new-tokens 2048

• 제공된 백엔드는 CPU 및 CUDA에서 작동합니다. Nvidia Hopper GPU에서 가장 빠른 속도를 얻으려면 USAGE.md에 설명된 추가 단계(CUDA‑graph + 융합 BF16 연산)를 따르세요.

아키텍처 개요

• Qwen3.5‑4B 백본을 기반으로 하지만 8개의 전체 주의 레이어를 다음 패턴으로 대체합니다.

  [GDN, GDN, GDN, sliding‑window attention ∥ RMA] × 8
  

• 영구 기록은 다음으로 구성됩니다.
  • 반복 행렬(FP32) – 고정 차원 요약.
  • 로컬 윈도우 KV(시퀀스당 31.97 MiB).
  • RMA 앵커 뱅크(32 MiB) + 대기 중인 후보(8 MiB).
• 모든 구성 요소에는 하드 용량이 있으므로 메모리는 토큰 길이에 대해 O(1) 을 유지합니다.

평가 하이라이트

• 수학적 추론: MATH‑500에서 97.5%, AIME에서 평균 pass@1 82.9%, 유계 상태 기준선보다 >60포인트 높음.
• 코딩: LiveCodeBench v6에서 61.6%(전체 주의 Qwen3.5‑4B에는 미치지 못하지만 크기 대비 경쟁력 있음).
• 시각 작업: 6개 벤치마크에서 평균 정확도 84.9%, 백본 성능의 >95% 유지.
• 원거리 메모리 쿼리: RMA 활성화 시 94.1% 정확, 비활성화 시 0.4%. 앵커가 먼 정보를 회상하는 데 필수적임을 보여줍니다.

EdgeRock을 사용할 사람

• 기존 트랜스포머의 메모리 폭발 없이 긴 컨텍스트 추론을 탐구하는 연구자.
• 이미지를 처리하면서 실행 중인 "상태"를 유지해야 하는 온디바이스 AI 어시스턴트를 개발하는 개발자.
• 단일 GPU에서 매우 긴 프롬프트(예: 문서 수준 QA, 코드베이스 분석)에 대한 높은 처리량 추론이 필요한 모든 사람.

더 많은 정보

• 기술 보고서(PDF) – 설계 및 실험에 대한 심층 분석.
• Hugging Face의 모델 가중치: stonehill-tech/EdgeRock.
• 전체 벤치마크 테이블 및 추론 가이드는 리포지토리(USAGE.md)에 있습니다.

---

모든 수치는 리포지토리의 README 및 기술 보고서에서 직접 가져온 것입니다. 외부 주장은 추가되지 않았습니다.