BlinkDL/RWKV-LM

해결하는 문제

RWKV는 Transformer 기반 대규모 언어 모델(LLM)의 성능과 재귀 신경망(RNN)의 효율성을 결합하도록 설계되었습니다. 일반적으로 큰 VRAM을 소비하고 문맥이 길어질수록 추론 속도를 저하시키는 KV 캐시의 필요성을 제거하여, 생성 시 일정한 공간과 선형 시간 복잡도를 보장합니다.

작동 방식

RWKV는 100% 아テン션 프리의 RNN 아키텍처입니다. 트레이닝 시 GPT 스타일의 Transformer(GPT 모드)처럼 병렬로 학습할 수 있지만, 추론 시에는 RNN 모드로 작동하여 위치 $t$의 은닉 상태만으로 위치 $t+1$의 상태를 계산할 수 있습니다. 최신 버전인 RWKV-7 "Goose"는 각 토큰마다 문맥 내 기울기 하강을 통해 상태를 업데이트하는 메타 문맥 학습자로 작동합니다.

대상 사용자

이 프로젝트는 계산 효율성이 높은 고성능 LLM이 필요한 AI 연구자 및 개발자, 특히 VRAM이 제한된 모바일 또는 데스크톱 장치에 배포하는 경우, 또는 "무한"에 가까운 문맥 길이를 필요로 하는 사용자에게 적합합니다.

주요 특징

• 선형 시간 및 정수 공간: KV 캐시가 필요 없어 시퀀스 길이에 관계없이 일정한 속도와 VRAM 사용량을 보장합니다.
• 병렬 트레이닝 가능: 높은 처리량을 위해 Transformer처럼 트레이닝할 수 있습니다.
• 고속 추론: 매우 높은 토큰/초 속도를 제공합니다 (예: 고성능 GPU에서 특정 설정에서 10,000+ 토큰/초).
• LFAI 프로젝트: Linux Foundation AI 프로젝트로, 완전히 무료이며 오픈 소스입니다.
• 다중 모달 지원: 텍스트 LLM 및 다중 모달 응용 프로그램 모두에 적합합니다.