BlinkDL/RWKV-LM

RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 "Goose". So it's combining the best of RNN and transformer - great performance, linear time, constant space (no kv-cache), fast training, infinite ctx_len, and free sentence embedding.

해결하는 문제

RWKV는 Transformer 기반 대규모 언어 모델(LLM)의 고성능과 순환 신경망(RNN)의 효율성을 결합하도록 설계되었습니다. KV-cache에 대한 필요성을 제거하여 추론 중에 선형 시간 복잡도와 상수 공간 메모리 사용량을 제공함으로써, 기존 어텐션 메커니즘과 관련된 VRAM 및 속도 병목 현상을 해결합니다.

작동 원리

RWKV는 100% 어텐션 프리(attention-free) RNN 아키텍처입니다. GPT 스타일의 Transformer처럼 병렬로 학습할 수 있지만(GPT 모드), 추론 시에는 표준 RNN으로 작동하며(RNN 모드), 다음 토큰을 계산하기 위해 현재 토큰의 은닉 상태만 필요로 합니다. 최신 버전인 RWKV-7 "Goose"는 모든 토큰에서 컨텍스트 내 경사 하강법(in-context gradient descent)을 사용하여 상태를 업데이트하는 메타 인컨텍스트 학습기(meta-in-context learner) 역할을 합니다.

대상 사용자

이 프로젝트는 메모리 오버헤드를 크게 줄여 LLM을 배포하고, 더 빠른 추론 속도를 달성하며, 어텐션의 이차적 스케일링 비용 없이 잠재적으로 "무한한" 컨텍스트 길이를 처리하고자 하는 AI 연구원 및 개발자를 위한 것입니다.

주요 특징

선형 시간 및 상수 공간: KV-cache가 필요 없어 시퀀스 길이에 관계없이 속도와 VRAM 사용량이 일정하게 유지됩니다.
병렬 학습 가능: Transformer처럼 학습할 수 있어 GPU에서 높은 효율성을 발휘합니다.
메타 인컨텍스트 학습: RWKV-7은 테스트 타임 학습(test-time training)을 활용하여 컨텍스트에 따라 상태를 업데이트합니다.
고효율: 매우 빠른 디코딩 속도를 지원합니다 (예: RTX 5090에서 7.2B 모델을 높은 배치 사이즈로 실행 시 10,000+ tokens/s).
오픈 소스: 완전히 무료인 Linux Foundation AI 프로젝트입니다.