BlinkDL/RWKV-LM

解決する課題

RWKVは、Transformerベースの大規模言語モデル (LLM) の高性能と、リカレントニューラルネットワーク (RNN) の効率性を組み合わせるように設計されています。KV-cacheの必要性を排除し、推論中に線形時間計算量と定数空間のメモリ使用量を提供することで、従来の注意機構に伴うVRAMと速度のボトルネックを解消します。

仕組み

RWKVは100%アテンションフリーなRNNアーキテクチャです。GPTスタイルのTransformerのように並列学習が可能ですが (GPTモード)、推論時には標準的なRNNとして動作し (RNNモード)、次のトークンを計算するために現在のトークンの隠れ状態のみを必要とします。最新バージョンのRWKV-7 "Goose" は、各トークンでコンテキスト内勾配降下法を使用して状態を更新するメタ・インコンテキスト学習器として機能します。

対象読者

このプロジェクトは、メモリオーバーヘッドを大幅に削減してLLMをデプロイし、より高速な推論速度を実現し、アテンションの二次的なスケーリングコストなしで「無限」のコンテキスト長を処理したいAI研究者や開発者を対象としています。

ハイライト

• 線形時間・定数空間: KV-cacheが不要で、シーケンス長に関係なく速度とVRAM使用量が一定です。
• 並列学習可能: Transformerのように学習できるため、GPU上で高い効率を発揮します。
• メタ・インコンテキスト学習: RWKV-7はテスト時学習を利用して、コンテキストに基づいて状態を更新します。
• 高効率: 非常に高速なデコード速度をサポートします (例: RTX 5090上で7.2Bモデルを高いバッチサイズで実行した場合、10,000+ tokens/s)。
• オープンソース: 完全に無料の Linux Foundation AI プロジェクトです。