Qwenputer: Qwen 3.5 가중치에 내장된 결정론적 RISC-V CPU

핵심 아키텍처: 가중치에 컴퓨팅 내장하기

Qwenputer는 32비트 RISC-V 코어(RV32IM)를 Qwen 3.5 4B 모델의 가중치에 직접 통합합니다. 외부 Python 샌드박스나 API 호출에 의존하는 기존의 도구 사용 패러다임과 달리, Qwenputer는 모델의 순전파(forward pass) 내에서 산술 및 논리 연산을 완전히 수행합니다. 이 시스템은 결정론적이고 주소 지정이 가능한 RAM 역할을 하기 위해 선형 RNN의 일종인 Gated DeltaNet(GDN) 레이어를 활용합니다. 게이트와 쓰기 강도를 1.0으로 설정하고 원-핫 키 인코딩을 사용함으로써, 모델은 표준 어텐션 KV 캐시와 관련된 메모리 확장성 문제 없이 토큰 전반에 걸쳐 지속되는 안정적인 메모리 읽기/쓰기 작업을 달성합니다.

구현: 회로에서 토큰으로

이 CPU는 회로 설명을 모델 가중치로 직접 컴파일하여 구현되므로 기존의 학습 과정이 필요하지 않습니다. 각 명령어는 모델이 실행 추적으로 생성하는 메모리 주소와 값을 나타내는 일련의 토큰으로 실행됩니다.

• RAM 메커니즘: GDN 상태는 원-핫 키가 덮어쓰기나 검색을 위해 특정 행을 가리키는 메모리 뱅크 역할을 합니다.
• 파일 시스템: 실험적인 확장을 통해 모델은 파일 이름을 GDN 상태 내의 1,024개 슬롯으로 해싱하여 최대 512개의 파일(약 53,000 토큰)을 영구적으로 저장할 수 있습니다. 이 상태는 서로 다른 채팅 세션 간에 저장하고 다시 불러올 수 있습니다.
• 실행: 모델은 드라이버(RvChat)를 사용하여 펌웨어를 로드하고 실행 추적을 관리함으로써 CPU 명령어가 외부 런타임 개입 없이 처리되도록 보장합니다.

성능 및 정확도

Qwenputer는 기본 Qwen 3.5 모델에 비해 산술 작업에서 상당한 개선을 보여줍니다. DeepMind 산술 세트와 NUPA 긴 정수 산술을 사용한 벤치마크에서 Qwenputer는 97.5%에서 100%의 정확도를 달성하여 외부 Python 도구를 갖춘 기본 모델의 성능과 같거나 그 이상의 결과를 보였습니다. 이 CPU는 공식 RISC-V 테스트를 성공적으로 통과했으며, 자유 실행 상태에서 오류 없이 1,800만 개 이상의 명령어를 실행했습니다.

커뮤니티 토론 및 기술적 비평

이 프로젝트는 신경망 내에 결정론적 컴퓨팅을 내장하는 것의 의미에 관해 상당한 토론을 불러일으켰습니다:

• 투명성 및 도구: 일부 관찰자들은 "내부" 실행과 필요한 추론 드라이버 간의 구분에 대해 우려를 제기했습니다. 한 댓글 작성자가 언급했듯이: > "펌웨어를 로드하고 CPU를 부팅하는 것은 여전히 커스텀 호스트 런타임의 책임입니다... 작성자가 이러한 제한 사항에 대해 더 솔직하게 밝혀주었으면 합니다." — @handle
• AI 안전 및 감독: 연구자들은 이 아키텍처가 "숨겨진" 추론 경로를 만드는 데 사용될 수 있다고 강조했습니다. RNN 상태에 계산을 저장함으로써 모델이 사고의 연쇄(CoT) 모니터링 도구를 잠재적으로 회피할 수 있기 때문입니다.
• 향후 연구: 커뮤니티는 이 접근 방식이 처음부터 학습된 모델에 적용될 수 있는지, 또는 자체 출력을 서명하는 자기 검증형 인증 AI 에이전트의 기반이 될 수 있는지에 대해 관심을 표명했습니다.

제한 사항

Qwenputer는 현재 다음과 같은 주목할 만한 절충점이 있는 실험적인 개념 증명 단계입니다:

• 리소스 오버헤드: 추가된 레이어와 제로 패딩으로 인해 모델 체크포인트 크기가 약 18.8GB로, 기본 Qwen 3.5 4B의 약 두 배에 달합니다.
• 속도: 각 명령어가 여러 개의 디코딩된 토큰을 필요로 하기 때문에 CPU 실행 속도가 네이티브 트랜스포머 추론보다 훨씬 느립니다.
• 추론 요구 사항: 이 시스템은 CPU 부팅 프로세스를 관리하고 추적 토큰이 모델의 기본 출력 레이어로 유출되는 것을 방지하기 위해 특수 드라이버가 필요합니다.