BlinkDL/RWKV-LM

何を解決するか

RWKVは、Transformerベースの大規模言語モデル（LLM）の性能と再帰的ニューラルネットワーク（RNN）の効率を統合することを目的としています。KVキャッシュの必要性を排除することで、文脈が長くなるにつれてVRAMを大量に消費し、推論速度が低下する問題を解消し、生成時に定数空間および線形時間の複雑さを実現します。

動作方法

RWKVは100%アテンションフリーのRNNアーキテクチャです。トレーニングではGPTスタイルのTransformer（GPTモード）のように並列で学習できますが、推論時にはRNNモードで動作し、位置$t$の隠れ状態のみが必要で、位置$t+1$の状態を計算できます。最新バージョンであるRWKV-7 "Goose"は、各トークンで文脈内勾配降下により状態を更新するメタ文脈学習者として機能します。

対象ユーザー

このプロジェクトは、計算効率が高く、特にVRAMが限られたモバイルやデスクトップデバイスに展開する必要があるAI研究者や開発者、または「無限」に近い文脈長を必要とするユーザー向けです。

特徴

• 線形時間・定数空間: KVキャッシュを必要とせず、シーケンス長に関係なく一定の速度とVRAM使用量を保証します。
• 並列トレーニング可能: 高スループットのTransformerのようにトレーニングできます。
• 高速推論: 非常に高いトークン/秒レートを実現可能（例：ハイエンドGPUで特定の設定で10,000+トークン/秒）。
• LFAIプロジェクト: Linux Foundation AIプロジェクトであり、完全に無料かつオープンです。
• マルチモーダル対応: テキストLLMおよびマルチモーダルアプリケーションの両方に適しています。