BlinkDL/ChatRWKV

해결하는 문제

ChatRWKV는 Transformer 성능과 동등한 고품질 언어 모델을 훨씬 더 빠르고 VRAM을 적게 사용하여 실행할 수 있는 방법을 제공합니다. 전통적인 Transformer의 효율성 문제를 재귀 신경망(RNN) 아키텍처를 통해 해결합니다.

작동 방식

RWKV 언어 모델에 의해 구동되며, 100% RNN이지만 Transformer처럼 확장 가능합니다. 이 프로젝트는 사용자가 모델과 상호작용할 수 있도록 하는 채팅 인터페이스와 추론 스크립트를 포함합니다. "stream" 및 "split"과 같은 다양한 추론 전략과 INT8 양자화를 지원하여 메모리 요구량을 추가로 줄이며, 14B 버전과 같은 대규모 모델을 최소 3GB의 VRAM으로 소비자 하드웨어에서 실행할 수 있게 합니다.

대상 사용자

낮은 하드웨어 요구 사항으로 강력한 LLM을 로컬에서 실행하고 싶은 개발자 및 AI 애호가, 또는 RNN 아키텍처 기반의 자체 추론 엔진을 구축하고자 하는 사람.

주요 특징

• RNN 효율성: Transformer의 품질과 동등하지만 더 빠른 속도와 낮은 메모리 사용량.
• 유연한 추론: 다양한 전략과 INT8 양자화를 지원하여 VRAM 사용량을 최소화.
• CUDA 가속: 시퀀스 모드 처리를 크게 빠르게 하는 선택적 CUDA 커널 포함.
• 개발자 친화적: "RWKV in 150 lines"과 같은 간소화된 스크립트와 API 데모를 제공하여 개발자가 모델을 이해하고 구현하는 데 도움을 줍니다.