BlinkDL/RWKV-LM

解決的問題

RWKV 的設計旨在結合基於 Transformer 的大型語言模型（LLM）的效能與遞迴神經網路（RNN）的效率。它消除了對 KV 快取的需求，該快取通常會消耗大量 VRAM，並隨著上下文增長而減慢推論速度，進而在生成過程中實現定空間與線性時間複雜度。

工作原理

RWKV 是一種 100% 無注意力機制的 RNN 架構。它可在訓練時像 GPT 風格的 Transformer（GPT 模式）一樣並行訓練，但在推論時以 RNN 模式運作，僅需位置 $t$ 的隱藏狀態即可計算位置 $t+1$ 的狀態。最新版本 RWKV-7 "Goose" 作為一個元上下文學習者，在每個 token 處透過上下文內梯度下降更新其狀態。

適用對象

此專案適用於需要高效率且計算高效的 LLM 的 AI 研究人員與開發者，特別是那些在 VRAM 有限的行動或桌面裝置上部署模型，或需要「無限」上下文長度的使用者。

主要亮點

• 線性時間與定空間：無需 KV 快取，無論序列長度為何，皆能確保恆定速度與 VRAM 使用量。
• 可並行訓練：可像 Transformer 一樣進行訓練，實現高吞吐量。
• 高推論速度：可實現極高的每秒令牌數（例如，在高階 GPU 上特定設定下可達 10,000+ 令牌/秒）。
• LFAI 項目：Linux 基金會 AI 項目，完全免費且開源。
• 多模態支援：適用於文字 LLM 與多模態應用。